laya-mlx
適用於 Laya 型別化決策模型的原生 MLX 執行環境 — 在 M3 Max 上短決策僅需 7–14 毫秒。無需文字生成、PyTorch 或雲端 API。
laya-mlx 是什麼?
適用於 Laya 型別化決策模型的原生 MLX 執行環境 — 在 M3 Max 上短決策僅需 7–14 毫秒。無需文字生成、PyTorch 或雲端 API。
laya-mlx 概覽
這是什麼
Laya-MLX 是 Laya 類型決策模型的原生 MLX 執行環境。它在 Apple Silicon 上執行,無需 PyTorch、Transformers 或雲端 API。它透過一次雙向前向傳遞,以校準後的機率回答受限問題(選擇選項、根據評分標準評分、判斷真偽)。它不產生任何 token,也不回傳需要解析的 JSON。
主要功能
- 在 MLX 中執行 Laya 權重,無需 PyTorch、Transformers 或雲端 API。
- 支援三種問題類型:
choice(每個選項的機率)、score(每個等級的機率與期望等級)、noul(P(true))。 - 包含語言路由、批次預測、信心門檻、大型選項集處理(shortlist 與 tournament)以及吞吐量選項(compile、pad_to_multiple、cache_prompts)。
- 提供 CLI、HTTP 伺服器、MCP 伺服器、評估與校準工具,以及 LangChain、LlamaIndex、CrewAI、Agno 的整合(作為額外安裝選項)。
- 匯出功能可寫入獨立的 MLX 檢查點。
- 效能:在 M3 Max(FP16)上,英文短決策中位數 13.4 毫秒,多語言檢查點中位數 7.4 毫秒。
使用情境
- 根據選項描述將客戶請求路由至正確部門。
- 判斷客戶是否要求退款(是/否)。
- 根據有序評分等級對回應進行評分。
- 任何需要校準機率且無需文字生成的受限決策任務。
快速開始
需要 Apple Silicon、macOS 14+ 與 Python 3.11+。
pip install laya-mlx
完整使用範例請參閱儲存庫 README。
授權與價格
Apache-2.0 授權,開放原始碼。
內容整理自該專案公開的 README 與儲存庫資訊。