laya-mlx

適用於 Laya 型別化決策模型的原生 MLX 執行環境 — 在 M3 Max 上短決策僅需 7–14 毫秒。無需文字生成、PyTorch 或雲端 API。

laya-mlx 是什麼?

適用於 Laya 型別化決策模型的原生 MLX 執行環境 — 在 M3 Max 上短決策僅需 7–14 毫秒。無需文字生成、PyTorch 或雲端 API。

laya-mlx 概覽

這是什麼

Laya-MLX 是 Laya 類型決策模型的原生 MLX 執行環境。它在 Apple Silicon 上執行,無需 PyTorch、Transformers 或雲端 API。它透過一次雙向前向傳遞,以校準後的機率回答受限問題(選擇選項、根據評分標準評分、判斷真偽)。它不產生任何 token,也不回傳需要解析的 JSON。

主要功能

  • 在 MLX 中執行 Laya 權重,無需 PyTorch、Transformers 或雲端 API。
  • 支援三種問題類型:choice(每個選項的機率)、score(每個等級的機率與期望等級)、noul(P(true))。
  • 包含語言路由、批次預測、信心門檻、大型選項集處理(shortlist 與 tournament)以及吞吐量選項(compile、pad_to_multiple、cache_prompts)。
  • 提供 CLI、HTTP 伺服器、MCP 伺服器、評估與校準工具,以及 LangChain、LlamaIndex、CrewAI、Agno 的整合(作為額外安裝選項)。
  • 匯出功能可寫入獨立的 MLX 檢查點。
  • 效能:在 M3 Max(FP16)上,英文短決策中位數 13.4 毫秒,多語言檢查點中位數 7.4 毫秒。

使用情境

  • 根據選項描述將客戶請求路由至正確部門。
  • 判斷客戶是否要求退款(是/否)。
  • 根據有序評分等級對回應進行評分。
  • 任何需要校準機率且無需文字生成的受限決策任務。

快速開始

需要 Apple Silicon、macOS 14+ 與 Python 3.11+。

pip install laya-mlx

完整使用範例請參閱儲存庫 README。

授權與價格

Apache-2.0 授權,開放原始碼。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/mizorewwwlaya-mlx.svg)](https://yunodb.com/tools/mizorewwwlaya-mlx?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/mizorewwwlaya-mlx?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/mizorewwwlaya-mlx.svg" alt="Featured on YunoDB" height="20"></a>