cnllm
Python toolkit for Chinese LLMs, with flexible batch capacity, structured real-time visulization and automated accumulation for streaming, and explicit feedback
cnllm 是什麼?
Python toolkit for Chinese LLMs, with flexible batch capacity, structured real-time visulization and automated accumulation for streaming, and explicit feedback on vendor-native parameter validation.
cnllm 概覽
這是什麼
CNLLM 是一個 Python 工具包,為各類中文大語言模型提供統一的 OpenAI 相容介面層,並附帶一系列增強工具,以簡化開發流程。開發者可以在基於 OpenAI 生態的主流框架(如 LangChain、LlamaIndex、AutoGen、Haystack、DeepEval)中直接使用中文大模型,特別是在需要多模型協作的開發與應用場景中,能顯著減少適配解析、功能實現與維護的工作量,並有效降低 AI agent 開發中的 Token 消耗。
主要功能
- 統一介面:用同一組介面與參數呼叫不同中文大模型,並返回 OpenAI API 標準回應 - 參數驗證:對所有參數進行驗證並提供明確反饋,包含廠商原生參數,並支援參數處理行為控制(
drop_params) - 串流回應:透過repr()監控串流生命週期,並透過.still、.think、.tools屬性存取增量欄位,自動累積 - 批次能力:支援批次任務中單獨設定每個請求的獨立配置,提供即時批次進度統計(.status)、可設定的失敗策略(stop_on_error)及記憶體管理(keep)
使用情境
CNLLM 適用於需要在 OpenAI 生態應用程式中整合中文大模型的開發者。特別是在多模型協作場景中,它能簡化適配解析、減少實作與維護工作量,並降低 Token 消耗。常見使用情境包括建立聊天應用、生成 Embeddings、以及管理多個中文大模型提供者的批次或串流互動。
快速開始
以 Agent Skill 方式安裝(建議): bash npx skills add kanchengw/cnllm-skill 或透過 pip 安裝: bash pip install cnllm 關於 SDK 初始化及使用範例,請參閱儲存庫 README。
授權與價格
採用 Apache-2.0 授權。此專案為開源且免費使用;不適用定價。
內容整理自該專案公開的 README 與儲存庫資訊。