unsloth
在地使用者介面,用於執行與訓練大型語言模型和擴散模型。支援 GGUF、MLX、Qwen3.8、DeepSeek-V4.1、MiniMax-H3、Gemma 4、FLUX 等。
unsloth 是什麼?
在地使用者介面,用於執行與訓練大型語言模型和擴散模型。支援 GGUF、MLX、Qwen3.8、DeepSeek-V4.1、MiniMax-H3、Gemma 4、FLUX 等。
unsloth 概覽
這是什麼
Unsloth 是一個在本機執行與訓練 LLM 及擴散模型的应用程式。README 稱其為第一個可執行與訓練模型的桌面應用程式。它有三種形式:Unsloth Desktop(桌面應用程式)、Unsloth Studio(網頁 UI)與 Unsloth Core(程式碼版本)。可在 Windows、Linux、WSL 與 macOS 上運作,並支援多 GPU 配置、NVIDIA、AMD、Intel GPU、CPU 以及 Vulkan 後端。
主要功能
- 執行與訓練 LLM、MLX、GGUF、擴散、決策、嵌入與音訊模型,包括 Qwen3.8、GLM-5.3-Flash、Kimi K3、Qwen-Image-2.1、MiniMax-H3、DeepSeek-V4 與 Gemma 4。
- 代理與工具:搭配 Claude Code、Codex 與 MCP 使用本機模型,包含工具呼叫與程式碼執行。
- 搜尋與 RAG:私有網路搜尋、深度研究、自動壓縮(滾動式上下文視窗)與 RAG。
- 微調:依 README 所述,訓練 LLM、擴散、決策、TTS 與嵌入模型可快 2 倍、VRAM 用量少 70%,且不損失準確度。
- 完整支援強化學習、LoRA、QLoRA、完整微調、預訓練、RL、GRPO、DPO 與 FP8。
- 以 GGUF、NVFP4、FP8 等格式匯出與部署模型,並透過 OpenAI 相容 API 提供模型服務。
- 遠端與 LAN 存取,包含 Cloudflare HTTPS 連結;可透過 Data Recipes 從 PDF、CSV、DOCX 等檔案建立資料集。
使用情境
- 執行本機模型,並透過
unsloth start連接 Claude Code、Codex、Visual Studio Code、OpenCode 等代理。 - 微調或預訓練 LLM、擴散、決策、TTS 與嵌入模型。
- 執行與訓練影像及視訊擴散或多模態模型。
- 以本機模型進行私有搜尋、深度研究與 RAG。
- 透過 OpenAI 相容 API 提供模型服務,或從 LAN 上的其他裝置或遠端存取。
快速開始
macOS、Linux、WSL:bashcurl -fsSL https://unsloth.ai/install.sh | shWindows:powershellirm https://unsloth.ai/install.ps1 | iexHomebrew:bashbrew install --cask unsloth接著啟動:bashunsloth studio
授權與價格
依儲存庫中介資料為 Apache-2.0。此專案列為開放原始碼;README 未說明價格。
內容整理自該專案公開的 README 與儲存庫資訊。