ram-coffers

透過 NUMA 感知權重銀行降低 LLM 基礎設施成本:在整新企業級 POWER8 上達 147 t/s(為標準 llama.cpp 的 8.8 倍)。自架推論,無需雲端 API。屬於 Proof of Physical AI 技術棧的一部分。

ram-coffers 是什麼?

透過 NUMA 感知權重銀行降低 LLM 基礎設施成本:在整新企業級 POWER8 上達 147 t/s(為標準 llama.cpp 的 8.8 倍)。自架推論,無需雲端 API。屬於 Proof of Physical AI 技術棧的一部分。