LocalAI

本地 AI 是開放原始碼的人工智慧引擎。可在任何硬體上運行任何模型 - 大型語言模型、視覺、語音、圖像、影片。無需 GPU。

LocalAI 是什麼?

本地 AI 是開放原始碼的人工智慧引擎。可在任何硬體上運行任何模型 - 大型語言模型、視覺、語音、圖像、影片。無需 GPU。

LocalAI 概覽

這是什麼

LocalAI 是一個開源 AI 引擎,可在任何硬體上執行任何模型(LLM、視覺、語音、影像、影片),無需 GPU。其核心設計輕量,每個後端(如 llama.cpp、vLLM、whisper.cpp、stable-diffusion、MLX)各自封裝成獨立映像檔,僅在模型需要時才下載。

主要功能

  • 可組合設計:後端各自獨立並按需下載,只安裝模型所需的元件 - 開放且可擴展:可載入任何模型,或透過開放介面以任何語言建立自訂後端 - 相容 API:支援 OpenAI、Anthropic 與 ElevenLabs 的 API 格式 - 任何模型、任何模態:LLM、視覺、語音、影像、影片皆可透過單一 API 存取 - 任何硬體:NVIDIA、AMD、Intel、Apple Silicon、Vulkan 或僅 CPU - 多用戶支援:API 金鑰驗證、用戶配額、角色權限控管 - 隱私優先:資料永不離開您的基礎設施

使用情境

在無 GPU 的硬體上本地執行大型語言模型、視覺模型、語音辨識、影像生成與影片處理。適合需要資料留在本地端、重視隱私的應用場景,也可用於需要驗證與配額的多用戶環境。

快速開始

bash # 僅 CPU: docker run -ti --name local-ai -p 8080:8080 localai/localai:latest # NVIDIA GPU: docker run -ti --name local-ai -p 8080:8080 --gpus all localai/localai:latest-gpu-nvidia-cuda-13 # 從模型庫載入模型: local-ai run llama-3.2-1b-instruct:q4_k_m # 從 Huggingface 載入模型: local-ai run huggingface://TheBloke/phi-2-GGUF/phi-2.Q8_0.gguf

授權與價格

採用 MIT 授權。開源且免費使用。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/mudlerlocalai.svg)](https://yunodb.com/tools/mudlerlocalai?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/mudlerlocalai?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/mudlerlocalai.svg" alt="Featured on YunoDB" height="20"></a>