toon
🎒 令牌導向物件表示法 (TOON) – 針對 LLM 提示的 JSON 資料之緊湊、人類可讀的序列化。TypeScript SDK、CLI、基準測試。
toon 是什麼?
🎒 令牌導向物件表示法 (TOON) – 針對 LLM 提示的 JSON 資料之緊湊、人類可讀的序列化。TypeScript SDK、CLI、基準測試。
toon 概覽
這是什麼
Token-Oriented Object Notation (TOON) 是一種緊湊、人類可讀的 JSON 資料模型編碼,旨在減少 token 數量並讓結構易於 LLM 理解。它結合了 YAML 風格的縮排(用於巢狀物件)與 CSV 風格的表格形式(用於均勻資料)。TOON 作為一個轉換層:程式上使用 JSON,並將其編碼為 TOON 作為 LLM 輸入——這是一種無損、可直接替換的 JSON 表示。此格式已穩定,但仍是一個進行中的想法,歡迎貢獻。
主要功能
- 節省 Token 且準確:以更少的 token 達到與 JSON 相同的檢索準確度——請參閱基準測試。
- JSON 資料模型:編碼與 JSON 相同的物件、陣列和基本型別,支援確定性、無損的往返轉換。
- LLM 友善的防護機制:
[N]宣告行數,{fields}宣告寬度——防止截斷或格式錯誤的輸出。 - 極簡語法:使用縮排代替大括號,並盡量減少引號,兼具 YAML 的可讀性與 CSV 的緊湊性。
- 表格形式:均勻物件(無論在陣列中或作為鍵值)只需在標頭宣告一次欄位清單,然後每行一個記錄。
- 多語言生態系:官方實作加上數十個社群移植版本,全部遵循同一規格並共用一致性測試套件。
使用情境
TOON 主要用於將 JSON 資料編碼為 LLM 提示,特別當資料包含均勻物件的陣列時。與 JSON 相比,它能減少 token 成本,同時維持或提升 LLM 每千 token 的理解準確度。它也適用於需要 token 效率的資料檢索任務。不建議用於深度巢狀或非均勻結構、純表格資料(CSV 更小),或延遲敏感的部署(緊湊 JSON 可能更快)。
快速開始
無需安裝即可在自己的資料上試用 TOON: bash cat data.json | npx @toon-format/cli --stats 這會顯示 TOON 表示法以及節省的 token 數量。如需程式化使用,可透過 npm 取得 TypeScript SDK。完整安裝與使用說明請參閱儲存庫的 README。
授權與價格
授權為 MIT。此專案為開源,未標示價格。
內容整理自該專案公開的 README 與儲存庫資訊。