flama
專為預測式與生成式 AI 打造的生產框架。只需一行程式碼即可將任何模型部署為 API,支援 OpenAI/Anthropic/Ollama 相容的端點、內建
flama 是什麼?
專為預測式與生成式 AI 打造的生產框架。只需一行程式碼即可將任何模型部署為 API,支援 OpenAI、Anthropic、Ollama 相容的端點、內建聊天 UI 與原生 MCP。
flama 概覽
這是什麼
flama 是用於預測式與生成式 AI 的生產框架。只需一行程式碼即可將任何模型轉換為生產用 API,核心基於 Rust 構建。來自主流框架的模型會被打包成一個可攜的 .flm 檔案,因此對 API 而言每個模型看起來都一樣。該框架透過 HTTP 提供模型服務,並支援 OpenAI、Anthropic 和 Ollama 相容的端點、內建聊天 UI,以及原生的模型上下文協定 (MCP)。flama 發布於 PyPI,為 Linux、macOS 和 Windows 提供原生 wheels,無需 Rust 工具鏈。
主要功能
- 將 scikit-learn、TensorFlow、PyTorch 或 LLM 的模型打包成可攜的
.flm檔案。 - 用一條指令從 HuggingFace Hub 下載並打包任何模型。
- 同時提供 OpenAI、Anthropic 和 Ollama 相容端點來服務 LLM。
- 每個提供的模型都附帶一個串流聊天 UI(位於
/chat/),支援 Markdown、LaTeX 和 Mermaid。 - 透過一個裝飾器和型別提示,將工具、資源和提示暴露給 AI 代理。
- 基於 Rust 的核心負責路由、JSON 編碼、請求解析和壓縮,以純 wheels 形式發布。
- 從一開始就為生產環境準備:可透過 CLI、Python、規格檔或容器執行打包後的模型。
使用情境
- 將預測式模型(例如 scikit-learn、TensorFlow、PyTorch)作為 HTTP API 提供服務,並附帶 OpenAPI 架構和 Swagger UI。
- 將生成式 LLM 作為 API 提供服務,內建串流聊天 UI 和多方言端點(OpenAI、Anthropic、Ollama)。
- 從單一設定檔 (
flama.json) 部署多個模型,適用於可審查的拉取請求部署。 - 使用自我描述的
.flm檔案進行離線模型檢查、測試和推論評分,無需伺服器。 - 在 CI 管道中,使用嵌入在
.flm檔案內的指標來控制模型升級。
快速開始
使用 Pydantic 安裝 flama: commandline pip install flama[pydantic] 可選的擴充套件包括 flama[typesystem]、flama[database]、flama[llm] 和 flama[full]。 若要提供預測式模型,先用 flama.dump() 將其打包成 .flm 檔案,然後執行: commandline flama serve --model file=model.flm,url=/model,name=iris 若要提供生成式模型: commandline pip install flama[llm,pydantic] flama get --family llm --source huggingface mlx-community/gemma-4-E2B-it-qat-4bit flama serve --model file=mlx-community_gemma-4-E2B-it-qat-4bit.flm,url=/,name=gemma 詳細資訊請參閱儲存庫 README。
授權與價格
採用 Apache-2.0 授權。此專案為開源,未提及價格。
內容整理自該專案公開的 README 與儲存庫資訊。