langroid
利用多代理程式編程駕馭大型語言模型
langroid 是什麼?
Langroid 是一個開源框架,讓開發者透過多代理程式編程的方式,輕鬆駕馭大型語言模型(LLMs)。它提供靈活的架構,支援建立協作式 AI 代理,以處理複雜任務。
langroid 概覽
這是什麼
Langroid 是一個由 CMU 和 UW-Madison 研究人員開發的 Python 框架,用於建構 LLM 驅動的應用程式。它採用多重代理(multi-agent)模式,開發者可以設定代理(Agent),為其配備可選元件(如 LLM、向量資料庫、工具/函式),指派任務,並讓代理透過交換訊息協作解決問題。Langroid 不使用 Langchain 或其他 LLM 框架,且可與幾乎任何 LLM 搭配使用。
主要功能
- 多重代理程式設計:設定代理與任務,透過訊息交換實現協作問題解決。
- 函式呼叫/工具:代理可使用工具與函式執行操作。
- DocChatAgent:支援檢索增強生成(RAG)。
- SQLChatAgent:支援資料庫查詢。
- 支援多種 LLM,包括 OpenAI 模型以及透過 Ollama 或其他提供者的本機/遠端模型。
- MCP(Model Context Protocol)支援:透過工具轉接器讓任何 LLM 代理利用 MCP 伺服器。
- 多模態支援:接受 PDF 與圖片輸入至 LLM。
使用情境
Langroid 用於建構 LLM 驅動的應用程式、多重代理協調、從文件中提取結構化資訊、問答系統以及 RAG 系統。它已被用於生產環境中的安全軟體開發(例如 Nullify)以及藥物警戒 RAG 系統。
快速開始
請參閱儲存庫 README 以取得安裝與快速開始說明。另提供快速開始 Colab 筆記本。
授權與價格
採用 MIT 授權條款。該軟體為開放原始碼且免費使用。
內容整理自該專案公開的 README 與儲存庫資訊。