Awesome-LLM-Long-Context-Modeling
📰 基於大型語言模型的長語境建模必讀論文與部落格 🔥
Awesome-LLM-Long-Context-Modeling 是什麼?
📰 必讀論文與部落格:基於大型語言模型的長語境建模 🔥。涵蓋從延伸技術到評估方法的完整主題,適合研究人員與工程師參考。
Awesome-LLM-Long-Context-Modeling 概覽
這是什麼
這是一個由社群維護的精選論文與部落格清單,專注於大型語言模型(LLM)的長上下文建模。內容涵蓋高效注意力機制、KV 快取最佳化、遞迴 Transformer、狀態空間模型、位置編碼與長度外推、長上下文訓練、長期記憶、檢索增強生成、上下文內學習、上下文與模型壓縮、長推理、長影片與影像、長時程代理、長文本生成、推論加速、基準測試與技術報告等類別。該倉庫也包含一篇名為「A Comprehensive Survey on Long Context Language Modeling」(arXiv:2503.17407)的調查論文。
主要功能
- 精選 LLM 長上下文建模領域的必讀論文與部落格。
- 涵蓋 20 多個類別,包括注意力、KV 快取、訓練、記憶、RAG、壓縮、推理、多模態、代理、生成、加速與評估。
- 提供每週與每月的論文更新,收錄近期發表的文章。
- 包含長上下文建模研究結構的流程圖分類。
- 連結至配套的調查論文與另一個專門的長上下文語言模型倉庫。
- 開放 GitHub 社群貢獻。
使用情境
研究人員與實務工作者可利用此倉庫掌握長上下文 LLM 的最新進展。它可作為文獻回顧、論文篩選以及了解長上下文建模技術全貌的參考資源。對於高效注意力、KV 快取壓縮、長上下文訓練與評估基準等子領域的關鍵論文識別也很有幫助。
快速開始
請參閱倉庫的 README 以了解如何瀏覽論文清單、貢獻內容以及引用調查論文。
授權與價格
此倉庫採用 MIT 授權條款。它是開放原始碼且免費使用的。
內容整理自該專案公開的 README 與儲存庫資訊。