Chinese-LLaMA-Alpaca-2
中文LLaMA-2 & Alpaca-2大模型二期專案 + 64K超長上下文模型 (Chinese LLaMA-2 & Alpaca-2 LLMs with 64K long context models)
Chinese-LLaMA-Alpaca-2 是什麼?
中文LLaMA-2 & Alpaca-2大模型二期專案 + 64K超長上下文模型 (Chinese LLaMA-2 & Alpaca-2 LLMs with 64K long context models)
Chinese-LLaMA-Alpaca-2 概覽
這是什麼
本專案是基於 Meta 的 Llama-2 開發的中文 LLaMA & Alpaca 大模型第二期專案,開源了中文 LLaMA-2 基座模型與中文 Alpaca-2 指令精調模型。這些模型擴充並優化了原版 Llama-2 的中文詞表,使用大規模中文資料進行增量預訓練,並支援 FlashAttention-2 訓練。標準版模型支援 4K 上下文長度,長上下文版支援 16K 與 64K 上下文。RLHF 系列模型經過人類偏好對齊精調。
主要功能
- 擴充並優化中文詞表(大小:55,296),提升中文文字編解碼效率 - FlashAttention-2 實現更快速、更節省記憶體的注意力機制 - 使用 PI(位置插值)擴展至 16K 上下文,YaRN 擴展至 64K 上下文 - Alpaca-2 模型採用簡化的中英雙語系統提示語 - RLHF(基於人類回饋的強化學習)提升正確價值觀表現 - 支援 🤗transformers、llama.cpp、text-generation-webui、LangChain、privateGPT、vLLM
使用情境
- 中文 LLaMA-2 基座模型:文字續寫,給定上文生成下文 - 中文 Alpaca-2 聊天模型:指令理解、問答、寫作、聊天、互動 - 長上下文模型:需要理解長文件的任務,例如 privateGPT - RLHF 模型:需要正確價值觀表達的場景
快速開始
請參閱專案儲存庫的 README 以取得模型下載、量化與部署的詳細說明。
授權與價格
採用 Apache-2.0 授權。本專案為開源專案。
內容整理自該專案公開的 README 與儲存庫資訊。