LlamaFactory

統一的百種以上大型語言模型與視覺語言模型的高效微調 (ACL 2024)

LlamaFactory 是什麼?

統一的百種以上大型語言模型與視覺語言模型的高效微調 (ACL 2024)

LlamaFactory 概覽

這是什麼

LlamaFactory(LLaMA-Factory)是一個開源專案,用於統一且有效率地微調 100 多個大型語言模型與視覺語言模型;其 metadata 描述為 ACL 2024 的研究成果。它提供零程式碼的 CLI 與 Web UI 進行微調,README 指出 Amazon、NVIDIA、阿里雲等單位皆有使用。說明文件發布於 Read the Docs,專案另設有官方部落格。

主要功能

  • 模型涵蓋範圍:LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen3、Qwen3-VL、DeepSeek、Gemma、GLM、Phi 等。
  • 整合式方法:(連續式)預訓練、(多模態)監督式微調、獎勵建模、PPO、DPO、KTO、ORPO。
  • 可擴充的資源配置:16-bit 全參數微調、凍結微調、LoRA,以及透過 AQLM/AWQ/GPTQ/LLM.int8/HQQ/EETQ 的 2/3/4/5/6/8-bit QLoRA。
  • 進階演算法:GaLore、BAdam、APOLLO、Adam-mini、Muon、OFT、DoRA、LongLoRA、LLaMA Pro、Mixture-of-Depths、LoRA+、LoftQ、PiSSA。
  • 實用技巧:FlashAttention-2、Unsloth、Liger Kernel、KTransformers、RoPE scaling、NEFTune、rsLoRA。
  • 多元任務:多輪對話、工具使用、影像理解、視覺定位、影片辨識、音訊理解。
  • 監控與推論:LlamaBoard、TensorBoard、Wandb、MLflow、SwanLab;OpenAI 風格 API、Gradio UI,以及搭配 vLLM worker 或 SGLang worker 的 CLI。

使用情境

本專案針對在本機或雲端微調 LLM 與 VLM 的情境。README 列出免費雲端選項:Colab(免費)、PAI-DSW(免費試用)與 AMD GPU Cloud(免費額度)。文件記載的任務類型包括多輪對話、工具使用、影像理解、視覺定位、影片辨識與音訊理解。README 亦追蹤新模型的 Day-0/Day-1 支援,例如 Qwen3、Qwen2.5-VL、Gemma 3、GLM-4.1V、InternLM 3、MiniCPM-o-2.6、Llama 3、GLM-4、Mistral Small、PaliGemma2 與 Llama 4。部署方面記載了 OpenAI 風格 API 與 vLLM,並可透過 infer_backend: sglang 支援 SGLang 作為推論後端。

快速開始

README 摘錄中未包含安裝指令,內容指向儲存庫的 usage 章節與線上說明文件。README 列出的雲端入門選項為 Colab(免費)、PAI-DSW(免費

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/hiyougallamafactory.svg)](https://yunodb.com/tools/hiyougallamafactory?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/hiyougallamafactory?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/hiyougallamafactory.svg" alt="Featured on YunoDB" height="20"></a>