Chinese-LLaMA-Alpaca-2

中文LLaMA-2 & Alpaca-2大模型二期專案 + 64K超長上下文模型 (Chinese LLaMA-2 & Alpaca-2 LLMs with 64K long context models)

Chinese-LLaMA-Alpaca-2 是什麼?

中文LLaMA-2 & Alpaca-2大模型二期專案 + 64K超長上下文模型 (Chinese LLaMA-2 & Alpaca-2 LLMs with 64K long context models)

Chinese-LLaMA-Alpaca-2 概覽

這是什麼

本專案是基於 Meta 的 Llama-2 開發的中文 LLaMA & Alpaca 大模型第二期專案,開源了中文 LLaMA-2 基座模型與中文 Alpaca-2 指令精調模型。這些模型擴充並優化了原版 Llama-2 的中文詞表,使用大規模中文資料進行增量預訓練,並支援 FlashAttention-2 訓練。標準版模型支援 4K 上下文長度,長上下文版支援 16K 與 64K 上下文。RLHF 系列模型經過人類偏好對齊精調。

主要功能

  • 擴充並優化中文詞表(大小:55,296),提升中文文字編解碼效率 - FlashAttention-2 實現更快速、更節省記憶體的注意力機制 - 使用 PI(位置插值)擴展至 16K 上下文,YaRN 擴展至 64K 上下文 - Alpaca-2 模型採用簡化的中英雙語系統提示語 - RLHF(基於人類回饋的強化學習)提升正確價值觀表現 - 支援 🤗transformers、llama.cpp、text-generation-webui、LangChain、privateGPT、vLLM

使用情境

  • 中文 LLaMA-2 基座模型:文字續寫,給定上文生成下文 - 中文 Alpaca-2 聊天模型:指令理解、問答、寫作、聊天、互動 - 長上下文模型:需要理解長文件的任務,例如 privateGPT - RLHF 模型:需要正確價值觀表達的場景

快速開始

請參閱專案儲存庫的 README 以取得模型下載、量化與部署的詳細說明。

授權與價格

採用 Apache-2.0 授權。本專案為開源專案。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/ymcuichinese-llama-alpaca-2.svg)](https://yunodb.com/tools/ymcuichinese-llama-alpaca-2?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/ymcuichinese-llama-alpaca-2?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/ymcuichinese-llama-alpaca-2.svg" alt="Featured on YunoDB" height="20"></a>