Awesome-LLM-Long-Context-Modeling

📰 基於大型語言模型的長語境建模必讀論文與部落格 🔥

Awesome-LLM-Long-Context-Modeling 是什麼?

📰 必讀論文與部落格:基於大型語言模型的長語境建模 🔥。涵蓋從延伸技術到評估方法的完整主題,適合研究人員與工程師參考。

Awesome-LLM-Long-Context-Modeling 概覽

這是什麼

這是一個由社群維護的精選論文與部落格清單,專注於大型語言模型(LLM)的長上下文建模。內容涵蓋高效注意力機制、KV 快取最佳化、遞迴 Transformer、狀態空間模型、位置編碼與長度外推、長上下文訓練、長期記憶、檢索增強生成、上下文內學習、上下文與模型壓縮、長推理、長影片與影像、長時程代理、長文本生成、推論加速、基準測試與技術報告等類別。該倉庫也包含一篇名為「A Comprehensive Survey on Long Context Language Modeling」(arXiv:2503.17407)的調查論文。

主要功能

  • 精選 LLM 長上下文建模領域的必讀論文與部落格。
  • 涵蓋 20 多個類別,包括注意力、KV 快取、訓練、記憶、RAG、壓縮、推理、多模態、代理、生成、加速與評估。
  • 提供每週與每月的論文更新,收錄近期發表的文章。
  • 包含長上下文建模研究結構的流程圖分類。
  • 連結至配套的調查論文與另一個專門的長上下文語言模型倉庫。
  • 開放 GitHub 社群貢獻。

使用情境

研究人員與實務工作者可利用此倉庫掌握長上下文 LLM 的最新進展。它可作為文獻回顧、論文篩選以及了解長上下文建模技術全貌的參考資源。對於高效注意力、KV 快取壓縮、長上下文訓練與評估基準等子領域的關鍵論文識別也很有幫助。

快速開始

請參閱倉庫的 README 以了解如何瀏覽論文清單、貢獻內容以及引用調查論文。

授權與價格

此倉庫採用 MIT 授權條款。它是開放原始碼且免費使用的。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/xnhyacinthawesome-llm-long-context-modeling.svg)](https://yunodb.com/tools/xnhyacinthawesome-llm-long-context-modeling?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/xnhyacinthawesome-llm-long-context-modeling?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/xnhyacinthawesome-llm-long-context-modeling.svg" alt="Featured on YunoDB" height="20"></a>