Soup
從一個 YAML 微調 LLM。層串流技術可在 4 GB 筆電 GPU 上訓練 8B 模型。
Soup 是什麼?
從一個 YAML 微調 LLM。層串流技術可在 4 GB 筆電 GPU 上訓練 8B 模型。
Soup 概覽
這是什麼
Soup 是一個命令列應用程式,用於微調和後訓練大型語言模型。它使用單一 YAML 設定檔。層串流技術讓您可以在 4 GB 筆電 GPU 上訓練 8B 模型。在 RTX 3050 筆電 4 GB 上的測量結果:Llama-3.1-8B-Instruct + NF4 達到 119.6 tok/s(952 MHz,峰值 3.32 GB,修復前 v0.72.2)。修復後(v0.73.0)在另一台 RTX 3050 筆電 4 GB 上:208.6 tok/s(1935–1957 MHz,峰值 2.40 GB)。這些數據因時脈和記憶體模式變化而無法直接比較。層串流為選用功能(stream_layers: true),仍處於 BETA 階段。
主要功能
- 單一 YAML 設定檔涵蓋整個訓練設定。
- 無需 SSH;可在使用者本機 GPU 上執行。
- 自動批次大小、GPU 偵測與量化。
- 層串流(BETA)以降低 VRAM 使用量。
- 網頁 UI 提供本機儀表板(
soup ui)。 - 支援多種訓練方法:LoRA、QLoRA 等。
- 提供聊天、程式碼、工具呼叫、醫療、推理、視覺等範本。
使用情境
針對特定任務微調 LLM,例如聊天、程式碼生成、工具呼叫、醫療應用、推理、視覺與音訊。使用偏好最佳化(DPO、ORPO、SimPO 等)進行後訓練。也適用於預訓練、長上下文、嵌入與 MoE 模型。
快速開始
使用 pipx 或 pip 安裝 Soup。輕量核心包含 CLI 與資料工具;加入 [train] 以取得訓練堆疊。 bash pipx install soup-cli pipx install 'soup-cli[train]' pip install soup-cli pip install 'soup-cli[train]' 建立設定檔並訓練: bash soup init --template chat soup train 網頁 UI: bash pip install 'soup-cli[ui]' soup ui
授權與價格
授權:Apache-2.0。價格:開放原始碼(免費)。
內容整理自該專案公開的 README 與儲存庫資訊。