FractalWorkspace
大型模型與LLM大規模聯邦學習的統一生態系統與工作空間。將計算儲存為WiFi
FractalWorkspace 是什麼?
大型模型與LLM大規模聯邦學習的統一生態系統與工作空間。將計算儲存為WiFi
FractalWorkspace 概覽
這是什麼
FractalWorkspace 是一個統一的生態系統與工作空間,專為大型模型與 LLM 的大規模聯邦式學習而設計。它是一個分散式運算協調與邊緣智慧框架,橋接了集中式模型協調與去中心化邊緣智慧。該框架將邊緣裝置視為在人類中心限制下運作的自動化、資源受限節點,旨在收集消費級邊緣裝置的碎片化運算能力,同時保護使用者隱私與裝置健康。
主要功能
- 針對 TinyLlama-1.1B 實現 7.11 倍線路負載縮減(85.94% 線路削減),參數負載從 4,196 MB 降至 590 MB。
- 保證 60 秒內傳輸完成,將 10 Mbps 上傳時間從 321.2 秒縮短至 46.2 秒,比 120 秒的聯邦聚合截止時間快 73.8 秒。
- 零準確度崩潰,所有 22 層的平均餘弦相似度維持在 0.9878,與無損 16 位元收斂相當。
- 透過原生記憶體映射執行(mmap)與 85.6% 的無線電傳輸時間縮減,實現零 Android 低記憶體終止(LMK)崩潰。
- 兩個統一的子系統:FractalCore(Python 控制平面,負責多租戶隔離、資料集分配、ATen 圖編譯、記憶體限制切片、聯邦權重聚合、運算預算與代幣化獎勵分配)與 FractalAndroid(原生 Kotlin 執行引擎,負責硬體限制的裝置端訓練與記憶體映射推論)。
使用情境
FractalWorkspace 適用於在消費級行動邊緣裝置上進行大型模型與 LLM 的大規模聯邦式學習。它解決了上行鏈路瓶頸、低位元量化中的動態範圍崩潰以及行動記憶體牆(LMK)問題。使用情境包括在邊緣裝置上對 TinyLlama、Llama-3 與 Mistral 等基礎模型進行分散式訓練與推論,同時嚴格保護隱私與裝置健康。
快速開始
請參閱儲存庫的 README 以取得安裝與快速開始說明。
授權與價格
授權條款未說明。該專案被歸類為開源。
內容整理自該專案公開的 README 與儲存庫資訊。