LimiX
LimiX: 釋放結構化資料建模能力以實現通用型智慧 https://arxiv.org/abs/2609.17488
LimiX 是什麼?
LimiX: 釋放結構化資料建模能力以實現通用型智慧 https://arxiv.org/abs/2609.17488
LimiX 概覽
這是什麼
LimiX 是一個針對結構化資料的大型基礎模型(LDM)系列。LimiX-2 是新一代模型,透過模型與資料規模擴展(遵循先前建立的規模定律)開發而成。它採用情境機制網路(CMN)範式,並以情境條件遮罩建模(CCMM)進行預訓練。該模型旨在學習資料生成背後的聯合結構的情境相關表徵,而非以目標為中心的預測。預訓練使用由結構因果模型(SCM)生成的合成資料集。LimiX-2 能在單次前向傳遞中執行分類、迴歸與缺失值填補,無需針對特定任務更新參數。可用的模型規模包括 LimiX-2(4 億參數)、LimiX-2M(200 萬)與 LimiX-16M(1600 萬)。
主要功能
- 單一預訓練模型可在一次前向傳遞中處理分類、迴歸與缺失值填補。
- 情境機制網路(CMN)範式實現以機制為導向的聯合建模。
- 因果感知能力:特徵注意力編碼直接因果關係,可恢復因果骨架。
- 在 TabArena、TALENT 與 BCCO 基準測試上優於現有資料集特定模型與表格基礎模型。
- 規模定律顯示下游效能隨模型大小呈對數線性改善。
使用情境
- 結構化資料的分類與迴歸任務。
- 表格資料集中的缺失值填補。
- 從觀測資料中發現因果結構。
- 無需任務特定微調的通用表格資料建模。
快速開始
請參閱儲存庫 README 以取得安裝與使用說明。
授權與價格
LimiX-2 的使用須遵守 StableAI LimiX 非商業授權。LimiX V1.0 以 Apache 2.0 授權開源。此專案為開源軟體。
內容整理自該專案公開的 README 與儲存庫資訊。