kalosm
即時、可控、本地預訓練 AI 模型 — 使用 Rust 實現
kalosm 是什麼?
Kalosm 是一個 Rust 函式庫,可讓開發者在本地端使用預先訓練的 AI 模型,提供即時、可控且高效的體驗。
kalosm 概覽
這是什麼
Kalosm 是一個 Rust crate 生態系統,旨在簡化使用本地或遠端 AI 模型的應用程式開發。它提供了一個簡單的介面來與預先訓練的語言、音訊和圖像模型互動。此儲存庫還包含 Fusor,這是一個基於編譯器的執行環境,用於在 CPU 和 WebGPU 加速器上進行量化機器學習推理。
主要功能
- 支援多種預訓練模型,包括 Llama、Mistral、Phi、Whisper、Segment Anything 和 Bert,並提供量化與 GPU 加速選項。
- 提供從 txt、html、docx、md 和 pdf 檔案中提取、格式化與檢索 LLM 上下文的工具,以及分塊處理和向量資料庫整合以進行語意搜尋。
- 支援從麥克風或檔案進行音訊轉錄,以及網頁爬取與內容擷取。
- 支援使用任意解析器進行結構化生成,透過自訂解析引擎和結構感知加速技術。使用者可以在 Rust 型別上推導
Parse和Schema,以正規表示式或自訂語法約束模型輸出。 - 包含一個基於編譯器的執行環境(Fusor),使用 e-graph 編譯器將操作鏈融合為最佳化的核心,用於量化機器學習推理。
使用情境
Kalosm 適用於建立聊天機器人、語意搜尋應用程式、音訊轉錄工具、影像分割系統,以及任何需要本地或遠端 AI 模型推理並具有結構化輸出約束的應用程式。
快速開始
- 安裝 Rust。2. 建立新專案:
shcargo new kalosm-hello-worldcd ./kalosm-hello-world3. 將 Kalosm 加入依賴:shcargo add kalosm --features llamacargo add tokio --features full4. 將範例程式碼加入main.rs(完整範例請見儲存庫 README)。5. 執行:shcargo run --release
授權與價格
Kalosm 採用 Apache-2.0 授權,為開源軟體。
內容整理自該專案公開的 README 與儲存庫資訊。