Chinese-LLaMA-Alpaca-3

中文羊駝大模型三期專案 (Chinese Llama-3 LLMs) 基於 Meta Llama 3 開發

Chinese-LLaMA-Alpaca-3 是什麼?

中文羊駝大模型三期專案 (Chinese Llama-3 LLMs) 基於 Meta Llama 3 開發

Chinese-LLaMA-Alpaca-3 概覽

這是什麼

Chinese-LLaMA-Alpaca-3 是基於 Meta Llama 3 開發的中文開源大語言模型系列第三期,提供中文 Llama-3 基座模型與中文 Llama-3-Instruct 指令精調模型。這些模型在原版 Llama-3 基礎上,使用大規模中文資料進行增量預訓練,並以精選指令資料進行精調,以提升中文語意理解與指令遵循能力。

主要功能

  • 使用原版 Llama-3 詞表(128,256 個 token),未額外擴充,實驗顯示其編碼效率與中文 LLaMA-2 擴充詞表相當。
  • 支援 8K 上下文長度,較 Llama-2 的 4K 有所提升。
  • 採用分組查詢注意力(GQA)機制,提升模型效率。
  • Instruct 版本使用全新指令模板,與 Llama-2-chat 不相容。
  • 開源預訓練腳本、指令精調腳本,以及指令精調資料集(alpaca_zh_51k、stem_zh_instruction、ruozhiba_gpt4)。
  • 相容於 transformers、llama.cpp、text-generation-webui、vLLM、Ollama 等 Llama-3 生態工具。

使用情境

  • Llama-3-Chinese-8B(基座模型):文字續寫,根據上文生成下文。
  • Llama-3-Chinese-8B-Instruct(指令模型):問答、寫作、聊天等需要理解指令的互動任務。

快速開始

請參閱儲存庫 README 以取得模型下載、量化及在個人電腦上使用 CPU/GPU 部署的詳細說明。

授權與價格

採用 Apache-2.0 授權。本專案為開源專案。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/ymcuichinese-llama-alpaca-3.svg)](https://yunodb.com/tools/ymcuichinese-llama-alpaca-3?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/ymcuichinese-llama-alpaca-3?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/ymcuichinese-llama-alpaca-3.svg" alt="Featured on YunoDB" height="20"></a>