yzma

運用您自己的智慧 - 撰寫 Go 應用程式,直接整合 llama.cpp,在 Linux、macOS、Windows 上使用硬體加速進行本地推論

yzma 是什麼?

運用您自己的智慧 - 撰寫 Go 應用程式,直接整合 llama.cpp,在 Linux、macOS、Windows 及 WebAssembly 上使用硬體加速進行本地推論

yzma 概覽

這是什麼

yzma 是一個 Go 函式庫,直接整合 llama.cpp 以實現完全本機推論並使用硬體加速。它讓開發者能用 Go 編寫應用程式,在 Linux、macOS 或 Windows 上執行視覺語言模型(VLM)與大/小/微型語言模型(LLM)。也能透過 TinyGo 與 WebAssembly 在瀏覽器中執行,支援 CPU 或 WebGPU 加速。yzma 使用 purego 與 ffi 套件,因此不需要 CGo。它相容於最新的 llama.cpp 版本,以使用最新功能、效能改善與錯誤修正。

主要功能

  • 支援硬體加速:CUDA、Metal、OpenVINO、Vulkan、HIP、ROCm、SYCL、OpenCL 等平台。
  • 可在瀏覽器中以 WebAssembly 執行(CPU 使用 SIMD,GPU 使用 WebGPU)。
  • 不需 CGo,使用 purego 與 ffi 套件。
  • 相容於最新的 llama.cpp 版本。
  • 支援多模態模型(影像/音訊)與文字語言模型。
  • 支援超過 96% 的 llama.cpp 功能(詳見 ROADMAP.md)。

使用情境

  • 在桌機或伺服器上本機執行大型語言模型,並使用硬體加速。
  • 建構需要本機推論的 Go 應用程式,無需外部 API 呼叫。
  • 在瀏覽器中部署 AI 模型,確保隱私(模型絕不離開使用者機器)。
  • 互動式聊天、視覺語言任務與嵌入生成。

快速開始

shellgo install github.com/hybridgroup/yzma@latestyzma install --lib /path/to/libexport YZMA_LIB=/path/to/lib然後下載模型:shellyzma model get -u https://huggingface.co/QuantFactory/SmolLM2-135M-GGUF/resolve/main/SmolLM2-135M.Q4_K_M.gguf執行範例:shellgo run ./examples/hello/

授權與價格

提供的元資料中未標明授權條款(NOASSERTION)。該專案標示為開放原始碼。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/hybridgroupyzma.svg)](https://yunodb.com/tools/hybridgroupyzma?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/hybridgroupyzma?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/hybridgroupyzma.svg" alt="Featured on YunoDB" height="20"></a>