ai-infra-book
《深入理解 AI Infra:量化分析與系統設計》(李博杰 著)開源書稿:從硬體約束和模型架構出發,量化推導 LLM 推理與訓練系統設計。含全書正文、PDF、配套計算工具與實驗
ai-infra-book 是什麼?
《深入理解 AI Infra:量化分析與系統設計》(李博杰 著)開源書稿:從硬體約束和模型架構出發,量化推導 LLM 推理與訓練系統設計。含全書正文、PDF、配套計算工具與實驗
ai-infra-book 概覽
這是什麼
這是李博杰所著《深入理解 AI Infra:量化分析與系統設計》的開源書稿。本書從硬體約束與模型架構出發,量化推導 LLM 推理與訓練系統的設計。倉庫包含全書正文、PDF、EPUB、配套計算工具與實驗。
主要功能
- 從硬體約束與模型架構量化推導系統設計
- 涵蓋 12 章,主題從模型架構到端邊雲協同
- 包含無需 GPU 即可估算資源需求的計算工具
- 按章節組織的實驗,附有執行方法與結果說明
- 提供英文、繁體中文與俄文的社群翻譯
使用情境
本書適合已呼叫過模型 API 或在本機執行過模型的開發者,想進一步了解模型為何慢或如何降低成本。也適用於從事系統、網路與晶片工作的工程師,以及相關領域的研究人員與學生。讀者可依興趣重點閱讀:模型應用與推理服務、系統或網路、晶片與架構,或系統性學習。
快速開始
bashgit clone https://github.com/bojieli/ai-infra-book.gitcd ai-infra-bookpython3 calculations/calc.py modelspython3 calculations/calc.py forward --model qwen3-8b --tokens 8192 --format md
授權與價格
採用 Apache-2.0 授權。此專案為開源且免費。
內容整理自該專案公開的 README 與儲存庫資訊。