imp
在您自己的 NVIDIA RTX 50 或 RTX PRO 顯示卡上,私密執行大型 AI 聊天模型。在一張 RTX 5090 上,Qwen3.8-27B 每秒約可生成 70 個字詞,比 vLLM 快 1.4 倍。
imp 是什麼?
在您自己的 NVIDIA RTX 50 或 RTX PRO 顯示卡上,私密執行大型 AI 聊天模型。在一張 RTX 5090 上,Qwen3.8-27B 每秒約可生成 70 個字詞,比 vLLM 快 1.4 倍。即使模型大小將近顯示卡記憶體的四倍,也能順利執行。可與專為 ChatGPT 或 Claude 打造的應用程式搭配使用。只需一個 docker 指令即可啟動。