llm-twin-course
免費學習如何運用 LLMOps 最佳實踐,建立一個端到端、可投入生產的 LLM 與 RAG 系統:原始碼 + 12 堂實作課程
llm-twin-course 是什麼?
免費學習如何運用 LLMOps 最佳實踐,建立一個端到端、可投入生產的 LLM 與 RAG 系統:原始碼 + 12 堂實作課程
llm-twin-course 概覽
這是什麼
LLM Twin Course 是由 Decoding AI 提供的免費開源課程,教你如何使用 LLMOps 最佳實踐,建構一個端到端、可上線的 LLM 與 RAG 系統。課程包含原始碼與 12 堂實作課程(10 堂核心 + 2 堂 bonus)。目標是打造一個 LLM Twin——一個能學習模仿個人寫作風格與個性的 AI 角色。系統架構分為四個 Python 微服務:資料收集管線、特徵管線、訓練管線與推論管線。課程整合了多項無伺服器工具:Comet ML(實驗追蹤與資料註冊)、Qdrant(向量資料庫)、AWS SageMaker(機器學習基礎設施)以及 Opik(提示評估與監控)。
主要功能
- 12 堂實作課程,涵蓋系統設計、資料爬取、變更資料擷取(CDC)、串流管線、進階 RAG、微調、評估、部署與提示監控。
- 開源程式碼存放於 GitHub。
- 採用 LLMOps 最佳實踐,如實驗追蹤、模型註冊、提示監控與版本控制。
- 整合 Comet ML、Qdrant、AWS SageMaker 與 Opik。
- 自訂進度、完全免費,無需註冊即可取得文章與程式碼。
- 訓練管線支援 LoRA/QLoRA 微調,並可在 AWS SageMaker 上執行。
使用情境
本課程適合 ML/AI 工程師,想學習如何運用 LLMOps 原則建構可上線的 LLM 與 RAG 系統。也適合資料工程師、資料科學家與軟體工程師,想了解 LLM 與 RAG 系統背後的工程實作。先備條件包括基本的 Python 與機器學習知識,以及中級技術程度。任何現代筆電或工作站皆可勝任,因為微調與推論會在 AWS SageMaker 上進行。
快速開始
請參閱儲存庫中的 README 以取得安裝與使用說明。
授權與價格
本課程採用 MIT 授權條款,為開源且免費。請注意,使用 OpenAI API 可能花費約 1 美元,而使用 AWS 進行微調與推論的費用則視使用量與區域而定,通常低於 10 美元。
內容整理自該專案公開的 README 與儲存庫資訊。