any-llm

透過單一介面與 LLM 供應商溝通

any-llm 是什麼?

透過單一介面與 LLM 供應商進行通訊。提供統一的方式來與各種大型語言模型供應商互動。

any-llm 概覽

這是什麼

any-llm 是一個 Python SDK,提供單一、統一的介面來與多個 LLM 提供者溝通。它支援 OpenAI、Anthropic、Azure / Microsoft Foundry、Mistral、Ollama 等。該專案由 Mozilla AI 維護,並採用 Apache-2.0 授權。其設計讓開發者無需修改程式碼即可切換提供者,並利用官方 SDK 以確保最大相容性。SDK 與框架無關,可跨不同專案和使用情境使用。它也為來自 LiteLLM 的使用者提供遷移路徑,讓他們保留現有的 API 金鑰和環境變數。該專案包含一個名為 Otari 的閘道元件,用於預算管理、API 金鑰管理、使用分析以及多租戶支援。SDK 需要 Python 3.11 或更新版本,以及所選提供者的 API 金鑰。它支援用於快速實驗的直接 API 函數,以及用於生產應用的基於類別的方法。SDK 也支援串流、工具和 OpenAI 風格的 Responses API。該專案的文件包括完整的 API 參考、支援的提供者列表以及食譜範例。該專案歡迎各種技能水平的開發者貢獻。

主要功能

  • 單一、統一的介面,支援多個 LLM 提供者 - 支援 OpenAI、Anthropic、Azure / Microsoft Foundry、Mistral、Ollama 等 - 利用官方 SDK 以確保最大相容性 - 完整的型別提示,提供更好的 IDE 支援和清晰的錯誤訊息 - 與框架無關的設計 - 支援串流、工具和 Responses API - 提供直接 API 函數和基於類別的方法 - 從 LiteLLM 遷移,無需代理或額外設定

使用情境

  • 無需修改程式碼即可切換不同的 LLM 提供者 - 建置需要支援多個 LLM 後端的應用程式 - 在腳本或筆記本中實驗不同的模型 - 需要連線池化和重複使用提供者的生產應用 - 使用未列為專用提供者的 OpenAI 相容閘道或本地伺服器

快速開始

python pip install 'any-llm-sdk[mistral,ollama]' export MISTRAL_API_KEY='YOUR_KEY_HERE' from any_llm import completion import os assert os.environ.get('MISTRAL_API_KEY') response = completion( model='mistral-small-latest', provider='mistral', messages=[{'role': 'user', 'content': 'Hello!'}] ) print(response.choices[0].message.content)

授權與價格

該專案採用 Apache License 2.0 授權。價格類型為開源。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/mozilla-aiany-llm.svg)](https://yunodb.com/tools/mozilla-aiany-llm?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/mozilla-aiany-llm?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/mozilla-aiany-llm.svg" alt="Featured on YunoDB" height="20"></a>