LocalAI
本地 AI 是開放原始碼的人工智慧引擎。可在任何硬體上運行任何模型 - 大型語言模型、視覺、語音、圖像、影片。無需 GPU。
LocalAI 是什麼?
本地 AI 是開放原始碼的人工智慧引擎。可在任何硬體上運行任何模型 - 大型語言模型、視覺、語音、圖像、影片。無需 GPU。
LocalAI 概覽
這是什麼
LocalAI 是一個開源 AI 引擎,可在任何硬體上執行任何模型(LLM、視覺、語音、影像、影片),無需 GPU。其核心設計輕量,每個後端(如 llama.cpp、vLLM、whisper.cpp、stable-diffusion、MLX)各自封裝成獨立映像檔,僅在模型需要時才下載。
主要功能
- 可組合設計:後端各自獨立並按需下載,只安裝模型所需的元件 - 開放且可擴展:可載入任何模型,或透過開放介面以任何語言建立自訂後端 - 相容 API:支援 OpenAI、Anthropic 與 ElevenLabs 的 API 格式 - 任何模型、任何模態:LLM、視覺、語音、影像、影片皆可透過單一 API 存取 - 任何硬體:NVIDIA、AMD、Intel、Apple Silicon、Vulkan 或僅 CPU - 多用戶支援:API 金鑰驗證、用戶配額、角色權限控管 - 隱私優先:資料永不離開您的基礎設施
使用情境
在無 GPU 的硬體上本地執行大型語言模型、視覺模型、語音辨識、影像生成與影片處理。適合需要資料留在本地端、重視隱私的應用場景,也可用於需要驗證與配額的多用戶環境。
快速開始
bash # 僅 CPU: docker run -ti --name local-ai -p 8080:8080 localai/localai:latest # NVIDIA GPU: docker run -ti --name local-ai -p 8080:8080 --gpus all localai/localai:latest-gpu-nvidia-cuda-13 # 從模型庫載入模型: local-ai run llama-3.2-1b-instruct:q4_k_m # 從 Huggingface 載入模型: local-ai run huggingface://TheBloke/phi-2-GGUF/phi-2.Q8_0.gguf
授權與價格
採用 MIT 授權。開源且免費使用。
內容整理自該專案公開的 README 與儲存庫資訊。