docetl
一個用於代理型LLM驅動的資料處理與ETL的系統
docetl 是什麼?
一個用於代理型LLM驅動的資料處理與ETL的系統s的系統s的系統
docetl 概覽
這是什麼
DocETL 是一個用於基於代理的 LLM 資料處理與 ETL 的系統。它協助使用 LLM 處理大量結構化與非結構化資料。使用者以自然語言描述每個操作,DocETL 提供運算子(map、reduce、filter 等)並協調它們,將工作平行化處理資料。它會自動最佳化管道,透過切換模型、改寫提示、分解操作,並在可能的情況下以程式碼取代子任務,以提高準確度並降低成本。它回傳表格,可在資料庫中查詢。若無 DocETL,使用者需自行編寫每個 LLM 呼叫,並手動調整準確度、成本與延遲。DocETL 由 UC Berkeley 的 EPIC Data Lab 與 Data Systems and Foundations 團隊建立。
主要功能
- 自然語言操作指定:使用者以白話描述操作。
- 運算子:map、reduce、filter、resolve、split、gather、extract 等。
- 自動管道最佳化:切換模型、改寫提示、分解操作,並以程式碼取代子任務,以提升準確度並降低成本。
- Python API:適用於正式程式碼、筆記本與腳本。
- YAML 低程式碼設定:用於宣告式管道。
- DocWrangler UI:用於互動式提示開發的視覺化遊樂場。
- 回傳可在資料庫中查詢的表格。
使用情境
- 使用 LLM 處理大量結構化與非結構化資料。
- 分類支援票證並摘要各類別。
- 從文件中提取特定資訊,例如從票證中提取投訴。
- 涉及 LLM 驅動資料轉換的一般 ETL 任務。
快速開始
bash pip install docetl export OPENAI_API_KEY=your_key 更多詳細說明請參閱儲存庫 README。
授權與價格
MIT 授權,開源。
內容整理自該專案公開的 README 與儲存庫資訊。