SimplerLLM

用於與LLM互動的Python函式庫。單一介面橫跨11家供應商(OpenAI、Anthropic、Gemini、DeepSeek、Ollama等),自動故障轉移,Pydantic-va

SimplerLLM 是什麼?

用於與LLM互動的Python函式庫。單一介面橫跨11家供應商(OpenAI、Anthropic、Gemini、DeepSeek、Ollama等),自動故障轉移,Pydantic驗證的結構化輸出,嵌入向量搜尋,以及AI驅動的路由器。pip install simplerllm

SimplerLLM 概覽

這是什麼

SimplerLLM 是一個開源的 Python 函式庫,旨在簡化與大型語言模型(LLM)的互動。它提供統一的介面,支援 11 家供應商,包括 OpenAI、Anthropic、Google Gemini、Cohere、OpenRouter、CometAPI、DeepSeek、Perplexity、Moonshot、Ollama 和 HuggingFace Local。該函式庫支援自動故障轉移、Pydantic 驗證的結構化輸出、嵌入向量搜尋以及 AI 驅動的路由器。

主要功能

  • 統一 LLM 介面:跨 11 家供應商的一致 API,透過 OpenRouter 和 CometAPI 存取超過 500 個模型,並支援完整的非同步功能。
  • 可靠性與故障轉移:在主供應商與備用供應商之間自動故障轉移,內建指數退避重試邏輯,並在初始化時進行供應商驗證。
  • 結構化輸出:整合 Pydantic 以產生經過驗證的 JSON 回應,並在驗證失敗時自動重試。
  • 向量運算:多個嵌入供應商(OpenAI、Voyage AI、Cohere、OpenRouter、CometAPI),支援本地向量資料庫與 Qdrant 整合,以及語意搜尋功能。
  • 智慧路由:AI 驅動的內容路由,具備元資料過濾與信心評分。
  • 進階工具:從 PDF、DOCX、網頁載入內容;文字分塊(語意、句子、段落);搜尋整合(Serper、Value Serp、SearchAPI、Apify);以及動態提示模板。

使用情境

SimplerLLM 可用於建構需要與多個 LLM 供應商互動的應用程式,實現自動故障轉移以確保可靠性、產生結構化 JSON 輸出、進行嵌入向量語意搜尋,以及智慧路由。適合需要統一介面來處理多樣化 LLM 任務的研究人員、開發者和 AI 愛好者。

快速開始

安裝函式庫: bash pip install simplerllm 選用語音功能: bash pip install simplerllm[voice] 基本 LLM 使用範例: python from SimplerLLM.language.llm import LLM, LLMProvider llm = LLM.create(provider=LLMProvider.OPENAI, model_name='gpt-4o') response = llm.generate_response(prompt='Explain quantum computing in simple terms') print(response) 完整範例請參閱儲存庫的 README。

授權與價格

本函式庫採用 MIT 授權條款,為開放原始碼(免費使用)。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/hassancs91simplerllm.svg)](https://yunodb.com/tools/hassancs91simplerllm?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/hassancs91simplerllm?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/hassancs91simplerllm.svg" alt="Featured on YunoDB" height="20"></a>