llama-swap

為任何本地 AI 伺服器提供可靠的模型切換功能。獲成千上萬使用者選用。功能齊全。如果我們沒有,您大概也不需要。

llama-swap 是什麼?

為任何本地 AI 伺服器提供可靠的模型切換功能。獲成千上萬使用者選用。功能齊全。如果我們沒有,您大概也不需要。

llama-swap 概覽

這是什麼

llama-swap 是一個工具,讓您可以在本機機器上執行多個生成式 AI 模型,並依需求在它們之間熱切換。它可與任何 OpenAI 和 Anthropic API 相容的伺服器搭配使用。此工具以 Go 語言建構,無任何外部依賴,僅由一個二進位檔和一個設定檔組成。

主要功能

  • 支援多種本機 AI 伺服器的隨需模型切換(llama.cpp 及其分支、vllm、stable-diffusion.cpp、audio.cpp、ComfyUI 等) - 支援 OpenAI API 端點:v1/completions、v1/chat/completions、v1/responses、v1/embeddings、v1/models、v1/audio/speech、v1/audio/transcriptions、v1/audio/voices、v1/realtime、v1/images/generations、v1/images/edits - 支援 Anthropic API 端點:v1/messages、v1/messages/count_tokens - 支援 llama-server(llama.cpp)端點:v1/rerank、v1/reranking、/rerank、/infill、/completion、/models、/props - 透過 stable-diffusion.cpp 的伺服器支援 SDAPI:/sdapi/v1/txt2img、/sdapi/v1/img2img、/sdapi/v1/loras - 內建網頁 UI,包含測試區、Token 指標、請求/回應檢視、手動模型載入/卸載,以及即時日誌串流 - 提供 API 金鑰支援、執行時期設定檔切換、透過 DSL 交換矩陣支援並行模型、模型自動卸載逾時(ttl)、啟動時預載模型(hooks),以及請求過濾器(stripParams、setParams、setParamsByID)

使用情境

  • 在單一機器上執行多個生成式 AI 模型,無需重新啟動伺服器即可切換模型 - 為需要不同模型處理不同任務的本機 AI 工作流程提供動力 - 在本機環境中測試和比較不同模型 - 與需要 OpenAI 或 Anthropic 相容 API 的工具整合

快速開始

shell # Docker 安裝(含 CUDA 13 的統一容器) $ docker pull ghcr.io/mostlygeek/llama-swap:unified-cuda13 # 使用自訂設定和模型目錄執行 $ docker run -it --rm --runtime nvidia -p 9292:8080 -v /path/to/models:/models -v /path/to/custom/config.yaml:/etc/llama-swap/config/config.yaml ghcr.io/mostlygeek/llama-swap:unified-cuda13 其他安裝方式包括 Homebrew(macOS 和 Linux)、MacPorts(macOS)、WinGet、發行版二進位檔,以及從原始碼建構。詳情請參閱儲存庫的 README。

授權與價格

授權為 MIT。此專案為開放原始碼且免費使用。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/mostlygeekllama-swap.svg)](https://yunodb.com/tools/mostlygeekllama-swap?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/mostlygeekllama-swap?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/mostlygeekllama-swap.svg" alt="Featured on YunoDB" height="20"></a>