any-llm
透過單一介面與 LLM 供應商溝通
any-llm 是什麼?
透過單一介面與 LLM 供應商進行通訊。提供統一的方式來與各種大型語言模型供應商互動。
any-llm 概覽
這是什麼
any-llm 是一個 Python SDK,提供單一、統一的介面來與多個 LLM 提供者溝通。它支援 OpenAI、Anthropic、Azure / Microsoft Foundry、Mistral、Ollama 等。該專案由 Mozilla AI 維護,並採用 Apache-2.0 授權。其設計讓開發者無需修改程式碼即可切換提供者,並利用官方 SDK 以確保最大相容性。SDK 與框架無關,可跨不同專案和使用情境使用。它也為來自 LiteLLM 的使用者提供遷移路徑,讓他們保留現有的 API 金鑰和環境變數。該專案包含一個名為 Otari 的閘道元件,用於預算管理、API 金鑰管理、使用分析以及多租戶支援。SDK 需要 Python 3.11 或更新版本,以及所選提供者的 API 金鑰。它支援用於快速實驗的直接 API 函數,以及用於生產應用的基於類別的方法。SDK 也支援串流、工具和 OpenAI 風格的 Responses API。該專案的文件包括完整的 API 參考、支援的提供者列表以及食譜範例。該專案歡迎各種技能水平的開發者貢獻。
主要功能
- 單一、統一的介面,支援多個 LLM 提供者 - 支援 OpenAI、Anthropic、Azure / Microsoft Foundry、Mistral、Ollama 等 - 利用官方 SDK 以確保最大相容性 - 完整的型別提示,提供更好的 IDE 支援和清晰的錯誤訊息 - 與框架無關的設計 - 支援串流、工具和 Responses API - 提供直接 API 函數和基於類別的方法 - 從 LiteLLM 遷移,無需代理或額外設定
使用情境
- 無需修改程式碼即可切換不同的 LLM 提供者 - 建置需要支援多個 LLM 後端的應用程式 - 在腳本或筆記本中實驗不同的模型 - 需要連線池化和重複使用提供者的生產應用 - 使用未列為專用提供者的 OpenAI 相容閘道或本地伺服器
快速開始
python pip install 'any-llm-sdk[mistral,ollama]' export MISTRAL_API_KEY='YOUR_KEY_HERE' from any_llm import completion import os assert os.environ.get('MISTRAL_API_KEY') response = completion( model='mistral-small-latest', provider='mistral', messages=[{'role': 'user', 'content': 'Hello!'}] ) print(response.choices[0].message.content)
授權與價格
該專案採用 Apache License 2.0 授權。價格類型為開源。
內容整理自該專案公開的 README 與儲存庫資訊。