ghost-infer
為您現有的 GPU 提供快速本地 LLM 推論:一個 Rust 二進位檔、GGUF 模型、相容 OpenAI 的伺服器,以及一個帶有鬼魂的聊天頁面。
ghost-infer 是什麼?
為您現有的 GPU 提供快速本地 LLM 推論:一個 Rust 二進位檔、GGUF 模型、相容 OpenAI 的伺服器,以及一個帶有鬼魂的聊天頁面。
為您現有的 GPU 提供快速本地 LLM 推論:一個 Rust 二進位檔、GGUF 模型、相容 OpenAI 的伺服器,以及一個帶有鬼魂的聊天頁面。
為您現有的 GPU 提供快速本地 LLM 推論:一個 Rust 二進位檔、GGUF 模型、相容 OpenAI 的伺服器,以及一個帶有鬼魂的聊天頁面。