maxtext

一個簡單、高效且可擴展的 Jax LLM!

maxtext 是什麼?

一個簡單、高效且可擴展的 Jax LLM!使用 MaxText 輕鬆建立、訓練和部署大型語言模型。

maxtext 概覽

這是什麼

MaxText 是一個高效能、高度可擴展的開源大型語言模型(LLM)函式庫與參考實作,完全以純 Python/JAX 撰寫,專為在 Google Cloud TPU 與 GPU 上進行訓練而設計。該專案提供多種高效能模型,包括 Gemma、Llama、DeepSeek、Qwen 與 Mistral。MaxText 支援大規模預訓練(可達數萬顆晶片)以及可擴展的後訓練技術,例如監督式微調(SFT)、群體相對策略最佳化(GRPO)與群體序列策略最佳化(GSPO)。它能在單一主機到超大叢集上達到高模型 FLOPs 利用率(MFU)與 tokens/秒。該專案託管於 AI Hypercomputer GitHub 組織下。

主要功能

  • 完全以純 Python/JAX 撰寫,並利用 XLA 編譯器進行最佳化。
  • 支援在 Google Cloud TPU 與 GPU 上進行大規模預訓練(可達數萬顆晶片)。
  • 提供多種模型函式庫:Gemma、Llama、DeepSeek、Qwen、Mistral 等。
  • 支援後訓練技術:SFT、GRPO(一種強化學習)與 GSPO(一種強化學習)。
  • 支援多模態訓練,包括 Gemma 3、Gemma 4 與 Llama 4 VLM。
  • 整合 JAX AI 函式庫:Flax(神經網路)、Tunix(後訓練)、Orbax(檢查點)、Optax(最佳化)與 Grain(資料載入)。
  • 可透過 PyPI 套件安裝;建議使用 Python 3.12 版本。

使用情境

MaxText 適用於研究與生產中的大型 LLM 專案。使用情境包括從頭開始預訓練模型、對現有模型進行後訓練(SFT、RL),以及實驗多模態訓練。該專案可作為實驗、構思與靈感的參考實作。使用者可以複製(fork)並修改 MaxText 來訓練自己的模型,無論是像 Llama 8B 這樣的小型密集模型,還是更大的架構。

快速開始

請參閱儲存庫的 README 以取得安裝說明。建議的方式是透過 pip 從 PyPI 安裝 MaxText。README 指出客戶應使用最新的 PyPI 版本或對應的預建容器映像,而 main 分支不預期為生產就緒。Python 3.12 是主要支援的版本。

授權與價格

授權為 Apache-2.0。該專案為開源,未標示價格。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/ai-hypercomputermaxtext.svg)](https://yunodb.com/tools/ai-hypercomputermaxtext?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/ai-hypercomputermaxtext?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/ai-hypercomputermaxtext.svg" alt="Featured on YunoDB" height="20"></a>