xTuring
建立、個人化並控制您自己的 LLM。從資料前處理到微調,xTuring 提供簡易方式來個人化開源 LLM。加入我們的 Discord 社群:https://discord.gg/TgHXuSJEk6
xTuring 是什麼?
建立、個人化並控制您自己的大型語言模型。從資料前處理到微調,xTuring 提供簡易方式來個人化開源 LLM。加入我們的 Discord 社群:https://discord.gg/TgHXuSJEk6
xTuring 概覽
這是什麼
xTuring 是一個開源函式庫,用於微調、評估和執行私有、個人化的大型語言模型(LLM)。它支援 GPT‑OSS、LLaMA/LLaMA 2、Qwen3、MiniMax M2、GPT‑J、GPT‑2、DistilGPT‑2 和 Mamba 等開源模型。該函式庫設計為在本機或私有雲端中執行,著重於簡潔、快速和成本效益。
主要功能
- 簡單的 API 用於資料準備、訓練和推論
- 預設私有:在本機或 VPC 中執行
- 使用 LoRA 和低精度(INT8/INT4)進行高效微調以降低成本
- 從 CPU/筆電擴展到多 GPU 環境
- 內建評估指標,包括困惑度(perplexity)
- 支援多種模型架構與變體(例如 GPT‑OSS 120B/20B、LLaMA 2、Qwen3 0.6B)
- 提供 CLI 和 UI 互動式操作介面
使用情境
- 在自訂指令資料集(如 Alpaca 格式)上微調開源 LLM
- 使用困惑度評估任何因果語言模型在資料集上的表現
- 透過 Intel® Extension for Transformers 以權重量化在 CPU 上執行推論
- 在本機使用 Qwen3‑Omni 多模態檢查點生成指令資料集
- 部署私有、個人化的 LLM,無需將資料傳送至外部伺服器
快速開始
bashpip install xturing``````pythonfrom xturing.datasets import InstructionDatasetfrom xturing.models import BaseModeldataset = InstructionDataset('./examples/models/llama/alpaca_data')model = BaseModel.create('qwen3_0_6b_lora')model.finetune(dataset=dataset)output = model.generate(texts=['Explain quantum computing for beginners.'])print(f'Model output: {output}')
授權與價格
Apache‑2.0 授權,開源。
內容整理自該專案公開的 README 與儲存庫資訊。