yzma
運用您自己的智慧 - 撰寫 Go 應用程式,直接整合 llama.cpp,在 Linux、macOS、Windows 上使用硬體加速進行本地推論
yzma 是什麼?
運用您自己的智慧 - 撰寫 Go 應用程式,直接整合 llama.cpp,在 Linux、macOS、Windows 及 WebAssembly 上使用硬體加速進行本地推論
yzma 概覽
這是什麼
yzma 是一個 Go 函式庫,直接整合 llama.cpp 以實現完全本機推論並使用硬體加速。它讓開發者能用 Go 編寫應用程式,在 Linux、macOS 或 Windows 上執行視覺語言模型(VLM)與大/小/微型語言模型(LLM)。也能透過 TinyGo 與 WebAssembly 在瀏覽器中執行,支援 CPU 或 WebGPU 加速。yzma 使用 purego 與 ffi 套件,因此不需要 CGo。它相容於最新的 llama.cpp 版本,以使用最新功能、效能改善與錯誤修正。
主要功能
- 支援硬體加速:CUDA、Metal、OpenVINO、Vulkan、HIP、ROCm、SYCL、OpenCL 等平台。
- 可在瀏覽器中以 WebAssembly 執行(CPU 使用 SIMD,GPU 使用 WebGPU)。
- 不需 CGo,使用
purego與ffi套件。 - 相容於最新的
llama.cpp版本。 - 支援多模態模型(影像/音訊)與文字語言模型。
- 支援超過 96% 的
llama.cpp功能(詳見 ROADMAP.md)。
使用情境
- 在桌機或伺服器上本機執行大型語言模型,並使用硬體加速。
- 建構需要本機推論的 Go 應用程式,無需外部 API 呼叫。
- 在瀏覽器中部署 AI 模型,確保隱私(模型絕不離開使用者機器)。
- 互動式聊天、視覺語言任務與嵌入生成。
快速開始
shellgo install github.com/hybridgroup/yzma@latestyzma install --lib /path/to/libexport YZMA_LIB=/path/to/lib然後下載模型:shellyzma model get -u https://huggingface.co/QuantFactory/SmolLM2-135M-GGUF/resolve/main/SmolLM2-135M.Q4_K_M.gguf執行範例:shellgo run ./examples/hello/
授權與價格
提供的元資料中未標明授權條款(NOASSERTION)。該專案標示為開放原始碼。
內容整理自該專案公開的 README 與儲存庫資訊。