Chinese-LLaMA-Alpaca-3
中文羊駝大模型三期專案 (Chinese Llama-3 LLMs) 基於 Meta Llama 3 開發
Chinese-LLaMA-Alpaca-3 是什麼?
中文羊駝大模型三期專案 (Chinese Llama-3 LLMs) 基於 Meta Llama 3 開發
Chinese-LLaMA-Alpaca-3 概覽
這是什麼
Chinese-LLaMA-Alpaca-3 是基於 Meta Llama 3 開發的中文開源大語言模型系列第三期,提供中文 Llama-3 基座模型與中文 Llama-3-Instruct 指令精調模型。這些模型在原版 Llama-3 基礎上,使用大規模中文資料進行增量預訓練,並以精選指令資料進行精調,以提升中文語意理解與指令遵循能力。
主要功能
- 使用原版 Llama-3 詞表(128,256 個 token),未額外擴充,實驗顯示其編碼效率與中文 LLaMA-2 擴充詞表相當。
- 支援 8K 上下文長度,較 Llama-2 的 4K 有所提升。
- 採用分組查詢注意力(GQA)機制,提升模型效率。
- Instruct 版本使用全新指令模板,與 Llama-2-chat 不相容。
- 開源預訓練腳本、指令精調腳本,以及指令精調資料集(alpaca_zh_51k、stem_zh_instruction、ruozhiba_gpt4)。
- 相容於 transformers、llama.cpp、text-generation-webui、vLLM、Ollama 等 Llama-3 生態工具。
使用情境
- Llama-3-Chinese-8B(基座模型):文字續寫,根據上文生成下文。
- Llama-3-Chinese-8B-Instruct(指令模型):問答、寫作、聊天等需要理解指令的互動任務。
快速開始
請參閱儲存庫 README 以取得模型下載、量化及在個人電腦上使用 CPU/GPU 部署的詳細說明。
授權與價格
採用 Apache-2.0 授權。本專案為開源專案。
內容整理自該專案公開的 README 與儲存庫資訊。