kalosm

即時、可控、本地預訓練 AI 模型 — 使用 Rust 實現

kalosm 是什麼?

Kalosm 是一個 Rust 函式庫,可讓開發者在本地端使用預先訓練的 AI 模型,提供即時、可控且高效的體驗。

kalosm 概覽

這是什麼

Kalosm 是一個 Rust crate 生態系統,旨在簡化使用本地或遠端 AI 模型的應用程式開發。它提供了一個簡單的介面來與預先訓練的語言、音訊和圖像模型互動。此儲存庫還包含 Fusor,這是一個基於編譯器的執行環境,用於在 CPU 和 WebGPU 加速器上進行量化機器學習推理。

主要功能

  • 支援多種預訓練模型,包括 Llama、Mistral、Phi、Whisper、Segment Anything 和 Bert,並提供量化與 GPU 加速選項。
  • 提供從 txt、html、docx、md 和 pdf 檔案中提取、格式化與檢索 LLM 上下文的工具,以及分塊處理和向量資料庫整合以進行語意搜尋。
  • 支援從麥克風或檔案進行音訊轉錄,以及網頁爬取與內容擷取。
  • 支援使用任意解析器進行結構化生成,透過自訂解析引擎和結構感知加速技術。使用者可以在 Rust 型別上推導 Parse 和 Schema,以正規表示式或自訂語法約束模型輸出。
  • 包含一個基於編譯器的執行環境(Fusor),使用 e-graph 編譯器將操作鏈融合為最佳化的核心,用於量化機器學習推理。

使用情境

Kalosm 適用於建立聊天機器人、語意搜尋應用程式、音訊轉錄工具、影像分割系統,以及任何需要本地或遠端 AI 模型推理並具有結構化輸出約束的應用程式。

快速開始

  1. 安裝 Rust。2. 建立新專案:shcargo new kalosm-hello-worldcd ./kalosm-hello-world3. 將 Kalosm 加入依賴:shcargo add kalosm --features llamacargo add tokio --features full4. 將範例程式碼加入 main.rs(完整範例請見儲存庫 README)。5. 執行:shcargo run --release

授權與價格

Kalosm 採用 Apache-2.0 授權,為開源軟體。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/floneumkalosm.svg)](https://yunodb.com/tools/floneumkalosm?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/floneumkalosm?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/floneumkalosm.svg" alt="Featured on YunoDB" height="20"></a>