EAGLE
EAGLE-1 (ICML'24)、EAGLE-2 (EMNLP'24) 和 EAGLE-3 (NeurIPS'25) 的官方實作。
EAGLE 是什麼?
EAGLE-1 (ICML'24)、EAGLE-2 (EMNLP'24) 和 EAGLE-3 (NeurIPS'25) 的官方實作。
EAGLE 概覽
這是什麼
EAGLE(Extrapolation Algorithm for Greater Language-model Efficiency)是一種推測解碼方法,用於加速大型語言模型(LLM)的文字生成,同時可證明維持基礎模型的輸出分佈。此儲存庫包含三個版本的官方實作:EAGLE-1(ICML'24 接受)、EAGLE-2(EMNLP'24 接受)和 EAGLE-3(NeurIPS'25 接受)。EAGLE 透過外推 LLM 的第二頂層上下文特徵向量來運作。EAGLE-2 使用草稿模型的信心分數來動態調整草稿樹結構,以近似接受率。EAGLE-3 則以低、中、高層語義特徵的融合取代頂層特徵,移除了早期版本中的特徵預測限制。
主要功能
- EAGLE-1 在 gpt-fast 上實現 2 倍加速,比標準解碼(13B)快 3 倍,比 Lookahead(13B)快 2 倍,比 Medusa(13B)快 1.6 倍。
- EAGLE-2 比標準解碼(13B)快 4 倍,比 EAGLE-1(13B)快 1.4 倍。
- EAGLE-3 比標準解碼(13B)快 5.6 倍,比 EAGLE-1(13B)快 1.8 倍。
- 該方法可在 1-2 天內訓練完成,並可在 8 張 RTX 3090 GPU 上測試。
- 可與其他並行技術結合使用,例如 vLLM、DeepSpeed、Mamba、FlashAttention、量化及硬體最佳化。
- EAGLE 已整合至多個主流 LLM 服務框架,包括 AMD ROCm、AWS NeuronX、Intel Extension for Transformers、NVIDIA TensorRT-LLM、SGLang 和 vLLM。
使用情境
EAGLE 適用於在生產或研究環境中加速大型語言模型的自迴歸解碼。它特別適合需要快速生成且同時維持基礎模型精確輸出分佈的場景。此方法可應用於任何支援 EAGLE 框架的 LLM,包括 Vicuna、LLaMA、Qwen、DeepSeek 和 Mixtral 系列模型。對於資源有限的 GPU 叢集部署尤其有用,因為它可在 8 張 RTX 3090 GPU 上進行訓練和測試。
快速開始
bashgit clone https://github.com/SafeAILab/EAGLE.gitcd EAGLEpython -m venv ~/venvs/ea_envsource ~/venvs/ea_env/bin/activatepip install -r requirements.txt
授權與價格
儲存庫中未聲明授權條款。該專案標示為開源。
內容整理自該專案公開的 README 與儲存庫資訊。