imp

專為單張 RTX 5090 設計的 LLM 伺服器，適用於代理工作負載：工具呼叫、長對話、推理及同時處理大量請求。速度最快的引擎之一。

imp 是什麼？

專為單張 RTX 5090 設計的 LLM 伺服器，適用於代理工作負載：工具呼叫、長對話、推理及同時處理大量請求。在此顯示卡上，無論是批次大小為 1 還是數十個並發串流，都是速度最快的引擎之一，相關數據請參閱儲存庫。