ai-infra-book

《深入理解 AI Infra:量化分析與系統設計》(李博杰 著)開源書稿:從硬體約束和模型架構出發,量化推導 LLM 推理與訓練系統設計。含全書正文、PDF、配套計算工具與實驗

ai-infra-book 是什麼?

《深入理解 AI Infra:量化分析與系統設計》(李博杰 著)開源書稿:從硬體約束和模型架構出發,量化推導 LLM 推理與訓練系統設計。含全書正文、PDF、配套計算工具與實驗

ai-infra-book 概覽

這是什麼

這是李博杰所著《深入理解 AI Infra:量化分析與系統設計》的開源書稿。本書從硬體約束與模型架構出發,量化推導 LLM 推理與訓練系統的設計。倉庫包含全書正文、PDF、EPUB、配套計算工具與實驗。

主要功能

  • 從硬體約束與模型架構量化推導系統設計
  • 涵蓋 12 章,主題從模型架構到端邊雲協同
  • 包含無需 GPU 即可估算資源需求的計算工具
  • 按章節組織的實驗,附有執行方法與結果說明
  • 提供英文、繁體中文與俄文的社群翻譯

使用情境

本書適合已呼叫過模型 API 或在本機執行過模型的開發者,想進一步了解模型為何慢或如何降低成本。也適用於從事系統、網路與晶片工作的工程師,以及相關領域的研究人員與學生。讀者可依興趣重點閱讀:模型應用與推理服務、系統或網路、晶片與架構,或系統性學習。

快速開始

bashgit clone https://github.com/bojieli/ai-infra-book.gitcd ai-infra-bookpython3 calculations/calc.py modelspython3 calculations/calc.py forward --model qwen3-8b --tokens 8192 --format md

授權與價格

採用 Apache-2.0 授權。此專案為開源且免費。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/bojieliai-infra-book.svg)](https://yunodb.com/tools/bojieliai-infra-book?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/bojieliai-infra-book?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/bojieliai-infra-book.svg" alt="Featured on YunoDB" height="20"></a>