petitgpt

一個從零訓練、參數量 1.246 億、使用 130 億個 token、在單張 RTX 4090 上完成的語言模型——涵蓋分詞器、預訓練、後續訓練、評估與可重現推論。

petitgpt 是什麼?

一個從零訓練、參數量 1.246 億、使用 130 億個 token、在單張 RTX 4090 上完成的語言模型——涵蓋分詞器、預訓練、後續訓練、評估與可重現推論。