test-model-thing
一個小型的概念驗證語言模型(非LLM),旨在整合潛在空間預測、使用遞迴追蹤單元的內部狀態,以及逐位元組...
test-model-thing 是什麼?
一個小型的概念驗證語言模型(非LLM),旨在整合潛在空間預測、使用遞迴追蹤單元的內部狀態,以及逐位元組輸出,使用 MLX 構建。
test-model-thing 概覽
這是什麼
Test-Model-Thing (TMT) 是一個小型的概念驗證語言模型(非 LLM),使用 MLX 建構。它旨在整合潛在空間預測、使用遞迴追蹤單元 (RTU) 的內部狀態、逐位元組輸入/輸出、連續資料串流以及測試時訓練。該模型設計為可在 Apple Silicon 裝置上執行,並已透過社群移植在 Linux 上測試。這不是一個完成的作品。該架構於 2026 年 7 月至 8 月由一位獨自開發的高中生在 Gemini 的配對程式設計協助下設計。模型有 450 萬個參數(dim=512, layers=16),並在小型維基百科資料集(simplewiki-20260801-pages-articles.xml.bz2)上訓練了約 12 小時。結果顯示模型能閉合引號和括號,但由於位元組級輸出容易拼錯字元。由於檔案大小限制,儲存庫未提供模型權重,但使用者可以自行訓練模型。
主要功能
- 潛在空間預測
- 使用遞迴追蹤單元 (RTU) 的內部狀態
- 位元組級輸入與輸出
- 連續資料串流
- 測試時訓練
- 使用 MLX 建構,相容於 Apple Silicon 與 Linux
- 支援訓練、聊天、凍結模式與基準測試模式
使用情境
- 語言模型架構的實驗性研究
- 位元組級與遞迴機制的概念驗證探索
- 用於理解模型訓練與評估的教育專案
- 分叉並擴充程式碼庫以進行進一步實驗
快速開始
若要訓練自己的模型,請初始化虛擬環境並安裝相依套件。在 Mac 上:pip install mlx。在 Linux 上搭配 GPU:pip install mlx[cuda]。在 Linux 上搭配 CPU:pip install mlx[cpu]。然後執行以下指令:bashpython main.py trainpython main.py chat# 僅使用交叉熵損失python main.py chat --ce-only# 不儲存至磁碟python main.py chat --no-save# 不修改權重python main.py chat --frozen# 不儲存至磁碟也不修改權重python main.py chat --no-save --frozen# 使用 CoLA 進行基準測試python benchmark.py你需要為資料集模式設定自己的資料集。聊天模式若已有權重則可直接執行無需修改。程式會定期儲存權重,並在按下 ^C 時儲存。
授權與價格
本專案採用 MIT 開放原始碼授權。它是免費且開源的。
內容整理自該專案公開的 README 與儲存庫資訊。