docetl

一個用於代理型LLM驅動的資料處理與ETL的系統

docetl 是什麼?

一個用於代理型LLM驅動的資料處理與ETL的系統s的系統s的系統

docetl 概覽

這是什麼

DocETL 是一個用於基於代理的 LLM 資料處理與 ETL 的系統。它協助使用 LLM 處理大量結構化與非結構化資料。使用者以自然語言描述每個操作,DocETL 提供運算子(map、reduce、filter 等)並協調它們,將工作平行化處理資料。它會自動最佳化管道,透過切換模型、改寫提示、分解操作,並在可能的情況下以程式碼取代子任務,以提高準確度並降低成本。它回傳表格,可在資料庫中查詢。若無 DocETL,使用者需自行編寫每個 LLM 呼叫,並手動調整準確度、成本與延遲。DocETL 由 UC Berkeley 的 EPIC Data Lab 與 Data Systems and Foundations 團隊建立。

主要功能

  • 自然語言操作指定:使用者以白話描述操作。
  • 運算子:map、reduce、filter、resolve、split、gather、extract 等。
  • 自動管道最佳化:切換模型、改寫提示、分解操作,並以程式碼取代子任務,以提升準確度並降低成本。
  • Python API:適用於正式程式碼、筆記本與腳本。
  • YAML 低程式碼設定:用於宣告式管道。
  • DocWrangler UI:用於互動式提示開發的視覺化遊樂場。
  • 回傳可在資料庫中查詢的表格。

使用情境

  • 使用 LLM 處理大量結構化與非結構化資料。
  • 分類支援票證並摘要各類別。
  • 從文件中提取特定資訊,例如從票證中提取投訴。
  • 涉及 LLM 驅動資料轉換的一般 ETL 任務。

快速開始

bash pip install docetl export OPENAI_API_KEY=your_key 更多詳細說明請參閱儲存庫 README。

授權與價格

MIT 授權,開源。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/ucbepicdocetl.svg)](https://yunodb.com/tools/ucbepicdocetl?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/ucbepicdocetl?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/ucbepicdocetl.svg" alt="Featured on YunoDB" height="20"></a>