Soup

從一個 YAML 微調 LLM。層串流技術可在 4 GB 筆電 GPU 上訓練 8B 模型。

Soup 是什麼?

從一個 YAML 微調 LLM。層串流技術可在 4 GB 筆電 GPU 上訓練 8B 模型。

Soup 概覽

這是什麼

Soup 是一個命令列應用程式,用於微調和後訓練大型語言模型。它使用單一 YAML 設定檔。層串流技術讓您可以在 4 GB 筆電 GPU 上訓練 8B 模型。在 RTX 3050 筆電 4 GB 上的測量結果:Llama-3.1-8B-Instruct + NF4 達到 119.6 tok/s(952 MHz,峰值 3.32 GB,修復前 v0.72.2)。修復後(v0.73.0)在另一台 RTX 3050 筆電 4 GB 上:208.6 tok/s(1935–1957 MHz,峰值 2.40 GB)。這些數據因時脈和記憶體模式變化而無法直接比較。層串流為選用功能(stream_layers: true),仍處於 BETA 階段。

主要功能

  • 單一 YAML 設定檔涵蓋整個訓練設定。
  • 無需 SSH;可在使用者本機 GPU 上執行。
  • 自動批次大小、GPU 偵測與量化。
  • 層串流(BETA)以降低 VRAM 使用量。
  • 網頁 UI 提供本機儀表板(soup ui)。
  • 支援多種訓練方法:LoRA、QLoRA 等。
  • 提供聊天、程式碼、工具呼叫、醫療、推理、視覺等範本。

使用情境

針對特定任務微調 LLM,例如聊天、程式碼生成、工具呼叫、醫療應用、推理、視覺與音訊。使用偏好最佳化(DPO、ORPO、SimPO 等)進行後訓練。也適用於預訓練、長上下文、嵌入與 MoE 模型。

快速開始

使用 pipx 或 pip 安裝 Soup。輕量核心包含 CLI 與資料工具;加入 [train] 以取得訓練堆疊。 bash pipx install soup-cli pipx install 'soup-cli[train]' pip install soup-cli pip install 'soup-cli[train]' 建立設定檔並訓練: bash soup init --template chat soup train 網頁 UI: bash pip install 'soup-cli[ui]' soup ui

授權與價格

授權:Apache-2.0。價格:開放原始碼(免費)。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/makazhanalpamyssoup.svg)](https://yunodb.com/tools/makazhanalpamyssoup?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/makazhanalpamyssoup?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/makazhanalpamyssoup.svg" alt="Featured on YunoDB" height="20"></a>