SimplerLLM
用於與LLM互動的Python函式庫。單一介面橫跨11家供應商(OpenAI、Anthropic、Gemini、DeepSeek、Ollama等),自動故障轉移,Pydantic-va
SimplerLLM 是什麼?
用於與LLM互動的Python函式庫。單一介面橫跨11家供應商(OpenAI、Anthropic、Gemini、DeepSeek、Ollama等),自動故障轉移,Pydantic驗證的結構化輸出,嵌入向量搜尋,以及AI驅動的路由器。pip install simplerllm
SimplerLLM 概覽
這是什麼
SimplerLLM 是一個開源的 Python 函式庫,旨在簡化與大型語言模型(LLM)的互動。它提供統一的介面,支援 11 家供應商,包括 OpenAI、Anthropic、Google Gemini、Cohere、OpenRouter、CometAPI、DeepSeek、Perplexity、Moonshot、Ollama 和 HuggingFace Local。該函式庫支援自動故障轉移、Pydantic 驗證的結構化輸出、嵌入向量搜尋以及 AI 驅動的路由器。
主要功能
- 統一 LLM 介面:跨 11 家供應商的一致 API,透過 OpenRouter 和 CometAPI 存取超過 500 個模型,並支援完整的非同步功能。
- 可靠性與故障轉移:在主供應商與備用供應商之間自動故障轉移,內建指數退避重試邏輯,並在初始化時進行供應商驗證。
- 結構化輸出:整合 Pydantic 以產生經過驗證的 JSON 回應,並在驗證失敗時自動重試。
- 向量運算:多個嵌入供應商(OpenAI、Voyage AI、Cohere、OpenRouter、CometAPI),支援本地向量資料庫與 Qdrant 整合,以及語意搜尋功能。
- 智慧路由:AI 驅動的內容路由,具備元資料過濾與信心評分。
- 進階工具:從 PDF、DOCX、網頁載入內容;文字分塊(語意、句子、段落);搜尋整合(Serper、Value Serp、SearchAPI、Apify);以及動態提示模板。
使用情境
SimplerLLM 可用於建構需要與多個 LLM 供應商互動的應用程式,實現自動故障轉移以確保可靠性、產生結構化 JSON 輸出、進行嵌入向量語意搜尋,以及智慧路由。適合需要統一介面來處理多樣化 LLM 任務的研究人員、開發者和 AI 愛好者。
快速開始
安裝函式庫: bash pip install simplerllm 選用語音功能: bash pip install simplerllm[voice] 基本 LLM 使用範例: python from SimplerLLM.language.llm import LLM, LLMProvider llm = LLM.create(provider=LLMProvider.OPENAI, model_name='gpt-4o') response = llm.generate_response(prompt='Explain quantum computing in simple terms') print(response) 完整範例請參閱儲存庫的 README。
授權與價格
本函式庫採用 MIT 授權條款,為開放原始碼(免費使用)。
內容整理自該專案公開的 README 與儲存庫資訊。