ram-coffers
透過 NUMA 感知權重銀行降低 LLM 基礎設施成本:在整新企業級 POWER8 上達 147 t/s(為標準 llama.cpp 的 8.8 倍)。自架推論,無需雲端 API。屬於 Proof of Physical AI 技術棧的一部分。
ram-coffers 是什麼?
透過 NUMA 感知權重銀行降低 LLM 基礎設施成本:在整新企業級 POWER8 上達 147 t/s(為標準 llama.cpp 的 8.8 倍)。自架推論,無需雲端 API。屬於 Proof of Physical AI 技術棧的一部分。