test-model-thing

一個小型的概念驗證語言模型(非LLM),旨在整合潛在空間預測、使用遞迴追蹤單元的內部狀態,以及逐位元組...

test-model-thing 是什麼?

一個小型的概念驗證語言模型(非LLM),旨在整合潛在空間預測、使用遞迴追蹤單元的內部狀態,以及逐位元組輸出,使用 MLX 構建。

test-model-thing 概覽

這是什麼

Test-Model-Thing (TMT) 是一個小型的概念驗證語言模型(非 LLM),使用 MLX 建構。它旨在整合潛在空間預測、使用遞迴追蹤單元 (RTU) 的內部狀態、逐位元組輸入/輸出、連續資料串流以及測試時訓練。該模型設計為可在 Apple Silicon 裝置上執行,並已透過社群移植在 Linux 上測試。這不是一個完成的作品。該架構於 2026 年 7 月至 8 月由一位獨自開發的高中生在 Gemini 的配對程式設計協助下設計。模型有 450 萬個參數(dim=512, layers=16),並在小型維基百科資料集(simplewiki-20260801-pages-articles.xml.bz2)上訓練了約 12 小時。結果顯示模型能閉合引號和括號,但由於位元組級輸出容易拼錯字元。由於檔案大小限制,儲存庫未提供模型權重,但使用者可以自行訓練模型。

主要功能

  • 潛在空間預測
  • 使用遞迴追蹤單元 (RTU) 的內部狀態
  • 位元組級輸入與輸出
  • 連續資料串流
  • 測試時訓練
  • 使用 MLX 建構,相容於 Apple Silicon 與 Linux
  • 支援訓練、聊天、凍結模式與基準測試模式

使用情境

  • 語言模型架構的實驗性研究
  • 位元組級與遞迴機制的概念驗證探索
  • 用於理解模型訓練與評估的教育專案
  • 分叉並擴充程式碼庫以進行進一步實驗

快速開始

若要訓練自己的模型,請初始化虛擬環境並安裝相依套件。在 Mac 上:pip install mlx。在 Linux 上搭配 GPU:pip install mlx[cuda]。在 Linux 上搭配 CPU:pip install mlx[cpu]。然後執行以下指令:bashpython main.py trainpython main.py chat# 僅使用交叉熵損失python main.py chat --ce-only# 不儲存至磁碟python main.py chat --no-save# 不修改權重python main.py chat --frozen# 不儲存至磁碟也不修改權重python main.py chat --no-save --frozen# 使用 CoLA 進行基準測試python benchmark.py你需要為資料集模式設定自己的資料集。聊天模式若已有權重則可直接執行無需修改。程式會定期儲存權重,並在按下 ^C 時儲存。

授權與價格

本專案採用 MIT 開放原始碼授權。它是免費且開源的。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/jrz97619761test-model-thing.svg)](https://yunodb.com/tools/jrz97619761test-model-thing?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/jrz97619761test-model-thing?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/jrz97619761test-model-thing.svg" alt="Featured on YunoDB" height="20"></a>