flama

專為預測式與生成式 AI 打造的生產框架。只需一行程式碼即可將任何模型部署為 API,支援 OpenAI/Anthropic/Ollama 相容的端點、內建

flama 是什麼?

專為預測式與生成式 AI 打造的生產框架。只需一行程式碼即可將任何模型部署為 API,支援 OpenAI、Anthropic、Ollama 相容的端點、內建聊天 UI 與原生 MCP。

flama 概覽

這是什麼

flama 是用於預測式與生成式 AI 的生產框架。只需一行程式碼即可將任何模型轉換為生產用 API,核心基於 Rust 構建。來自主流框架的模型會被打包成一個可攜的 .flm 檔案,因此對 API 而言每個模型看起來都一樣。該框架透過 HTTP 提供模型服務,並支援 OpenAI、Anthropic 和 Ollama 相容的端點、內建聊天 UI,以及原生的模型上下文協定 (MCP)。flama 發布於 PyPI,為 Linux、macOS 和 Windows 提供原生 wheels,無需 Rust 工具鏈。

主要功能

  • 將 scikit-learn、TensorFlow、PyTorch 或 LLM 的模型打包成可攜的 .flm 檔案。
  • 用一條指令從 HuggingFace Hub 下載並打包任何模型。
  • 同時提供 OpenAI、Anthropic 和 Ollama 相容端點來服務 LLM。
  • 每個提供的模型都附帶一個串流聊天 UI(位於 /chat/),支援 Markdown、LaTeX 和 Mermaid。
  • 透過一個裝飾器和型別提示,將工具、資源和提示暴露給 AI 代理。
  • 基於 Rust 的核心負責路由、JSON 編碼、請求解析和壓縮,以純 wheels 形式發布。
  • 從一開始就為生產環境準備:可透過 CLI、Python、規格檔或容器執行打包後的模型。

使用情境

  • 將預測式模型(例如 scikit-learn、TensorFlow、PyTorch)作為 HTTP API 提供服務,並附帶 OpenAPI 架構和 Swagger UI。
  • 將生成式 LLM 作為 API 提供服務,內建串流聊天 UI 和多方言端點(OpenAI、Anthropic、Ollama)。
  • 從單一設定檔 (flama.json) 部署多個模型,適用於可審查的拉取請求部署。
  • 使用自我描述的 .flm 檔案進行離線模型檢查、測試和推論評分,無需伺服器。
  • 在 CI 管道中,使用嵌入在 .flm 檔案內的指標來控制模型升級。

快速開始

使用 Pydantic 安裝 flama: commandline pip install flama[pydantic] 可選的擴充套件包括 flama[typesystem]、flama[database]、flama[llm] 和 flama[full]。 若要提供預測式模型,先用 flama.dump() 將其打包成 .flm 檔案,然後執行: commandline flama serve --model file=model.flm,url=/model,name=iris 若要提供生成式模型: commandline pip install flama[llm,pydantic] flama get --family llm --source huggingface mlx-community/gemma-4-E2B-it-qat-4bit flama serve --model file=mlx-community_gemma-4-E2B-it-qat-4bit.flm,url=/,name=gemma 詳細資訊請參閱儲存庫 README。

授權與價格

採用 Apache-2.0 授權。此專案為開源,未提及價格。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/vorticoflama.svg)](https://yunodb.com/tools/vorticoflama?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/vorticoflama?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/vorticoflama.svg" alt="Featured on YunoDB" height="20"></a>