localharness

一個開源、模型無關的代理程式框架,專為本機 LLM 設計。以 YAML 定義代理程式(工具、記憶體、預設拒絕權限),並可對接任何 OpenAI 相容端點。

localharness 是什麼?

一個開源、模型無關的代理程式框架,專為本機 LLM 設計。以 YAML 定義代理程式(工具、記憶體、預設拒絕權限),並可對接任何 OpenAI 相容端點:vLLM、Ollama、LM Studio 或 llama.cpp。