awesome-local-llm
一個精心挑選的清單,包含有助於在本機執行 LLM 的優秀平台、工具、實務做法與資源。
awesome-local-llm 是什麼?
一個精心挑選的清單,包含有助於在本機執行 LLM 的優秀平台、工具、實務做法與資源。
awesome-local-llm 概覽
這是什麼
這是一個精選清單,收錄了有助於在本機執行大型語言模型(LLM)的平台、工具、實務做法與資源。該儲存庫由 GitHub 維護,作為與本機 LLM 推論、訓練和部署相關的軟硬體目錄。
主要功能
- 涵蓋推論平台、推論引擎、使用者介面、大型語言模型、工具、硬體、教學與社群。
- 列出特定模型提供者,例如 Qwen、Mistral AI、Tencent、Unsloth AI 和 bartowski。
- 包含模型探索工具、基準測試與排行榜的章節。
- 提供按用途分類的特定模型參考:通用、程式碼、決策、多模態、影像、音訊、檢索增強生成、安全防護及其他。
- 包含工具類別:模型、代理框架、模型上下文協定、檢索增強生成、程式碼代理、電腦使用、瀏覽器自動化、記憶體管理、測試評估與可觀測性、研究、訓練與微調、安全與沙箱及其他。
- 列出硬體資源,以及關於模型、提示工程、上下文工程、推論、代理、檢索增強生成及其他主題的教學。
使用情境
此清單適用於希望探索和比較在本機執行 LLM 的軟硬體選項的開發者、研究人員與愛好者。可用於尋找如 Ollama 或 llama.cpp 等推論引擎、Open WebUI 等使用者介面,或針對程式碼、多模態處理或檢索增強生成等任務的特定模型。
快速開始
請參閱儲存庫的 README 以取得完整的目錄與每個列出資源的連結。
授權與價格
該儲存庫採用 MIT 授權。價格類型標示為開源。
內容整理自該專案公開的 README 與儲存庫資訊。