imp

在您自己的 NVIDIA RTX 50 或 RTX PRO 顯示卡上,私密執行大型 AI 聊天模型。在一張 RTX 5090 上,Qwen3.8-27B 每秒約可生成 70 個字詞,比 vLLM 快 1.4 倍。

imp 是什麼?

在您自己的 NVIDIA RTX 50 或 RTX PRO 顯示卡上,私密執行大型 AI 聊天模型。在一張 RTX 5090 上,Qwen3.8-27B 每秒約可生成 70 個字詞,比 vLLM 快 1.4 倍。即使模型大小將近顯示卡記憶體的四倍,也能順利執行。可與專為 ChatGPT 或 Claude 打造的應用程式搭配使用。只需一個 docker 指令即可啟動。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/kekzlimp.svg)](https://yunodb.com/tools/kekzlimp?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/kekzlimp?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/kekzlimp.svg" alt="Featured on YunoDB" height="20"></a>