MOSS
來自復旦大學的開源、工具增強對話語言模型
MOSS 是什麼?
來自復旦大學的開源、工具增強對話語言模型(MOSS)是一個開源的、工具增強的對話語言模型。
MOSS 概覽
這是什麼
MOSS 是由復旦大學開發的開源對話語言模型,支援中英雙語對話與工具調用。moss-moon 系列模型擁有 160 億參數,在 FP16 精度下可在單張 A100/A800 或兩張 3090 顯示卡上運行,在 INT4/8 精度下可在單張 3090 顯示卡上運行。基座語言模型在約七千億中英文及程式碼單詞上預訓練,後續經過對話指令微調、插件增強學習與人類偏好訓練,具備多輪對話能力及使用多種插件的能力。
主要功能
- 支援中英雙語對話與工具調用。
- 包含多種插件能力:搜尋引擎、文生圖、計算器、解方程。
- 提供量化版本(INT4、INT8),降低記憶體使用(例如 INT4 推理約需 12GB 顯示記憶體)。
- 提供多輪對話數據與插件增強對話數據,可用於微調。
- 包含偏好模型(PM),提升事實性、安全性與回覆品質。
- 開源模型、數據與工程方案(部署、前端、後端)。
使用情境
- 簡單數學應用題
- 解方程
- 生成圖片
- 中文語境
- 程式碼能力
- 無害性(避免有害內容)
快速開始
git clone https://github.com/OpenMOSS/MOSS.git
cd MOSS
conda create --name moss python=3.8
conda activate moss
pip install -r requirements.txt
授權與價格
採用 Apache-2.0 授權。開源且免費使用。
內容整理自該專案公開的 README 與儲存庫資訊。