ram-coffers
透過 NUMA 感知權重銀行降低 LLM 基礎設施成本:在整新企業級 POWER8 上達 147 t/s(為標準 llama.cpp 的 8.8 倍)。自架推論,無需雲端 API。屬於 Proof of Physical AI 技術棧的一部分。
ram-coffers 是什麼?
透過 NUMA 感知權重銀行降低 LLM 基礎設施成本:在整新企業級 POWER8 上達 147 t/s(為標準 llama.cpp 的 8.8 倍)。自架推論,無需雲端 API。屬於 Proof of Physical AI 技術棧的一部分。
ram-coffers 概覽
這是什麼
RAM Coffers 是一個 NUMA 感知的條件記憶體架構,旨在降低大型語言模型推論成本。它將模型知識路由到實體記憶體庫中,在自託管的企業級硬體(如翻新的 IBM POWER8 與 Apple Silicon 級別機器)上運行,無需依賴雲端 API。該系統是 RustChain Proof of Physical AI 堆疊的一部分,經過驗證的機器可透過執行推論工作賺取代幣。在 POWER8 上測得每秒 147 個 token,效能為標準 llama.cpp 的 8.8 倍。
主要功能
- NUMA 分散權重銀行:模型權重按領域(核心知識、科學/技術、創意、歷史)分散至 NUMA 節點。
- 共振路由:透過餘弦相似度將查詢嵌入與記憶庫領域特徵匹配,實現智慧權重啟動。
- 非雙射剪枝:在完整權重提取前進行選擇性路徑收縮,降低記憶體頻寬需求。
- DCBT 常駐預取:使用 PowerPC 資料快取區塊觸發提示,實現 L2/L3 常駐,在 POWER8 上達到每秒 147+ token。
- vcipher 硬體 AES 作為注意力收縮原語:將密碼學 AES 指令重新用於非線性注意力運算,提供超越 vec_perm 的能力。
- 零抽象 LLMOps:路由層即為硬體拓撲本身。
使用情境
- 在翻新的企業級硬體(如 IBM POWER8)上自託管 LLM 推論,降低基礎設施成本。
- 無需雲端 API 的本地模型服務。
- 作為 DePIN(去中心化實體基礎設施網路)節點,執行有用的 AI 工作並透過 RustChain 的 Proof of Antiquity 共識賺取獎勵。
- 研究 NUMA 感知記憶體架構與硬體軟體協同設計,應用於 LLM 推論。
快速開始
請參閱儲存庫 README 以取得安裝與快速開始說明。README 中提及 BENCHMARK.md 包含重現測量效能的指令。
授權與價格
採用 AGPL-3.0 授權。開源,無需付費。
內容整理自該專案公開的 README 與儲存庫資訊。