优化LLM输入，从革新数据格式开始

在日常与大语言模型（LLM）的协作中，你是否曾感到困惑：明明模型的输出已经变得高度结构化，但我们输入的数据却仍然充斥着冗余？这不仅仅是一个技术细节，它直接关系到你的令牌消耗和处理速度。

在LLM应用日益普及的今天，一种名为TOON的全新数据格式正悄然兴起，它有望彻底改变我们向模型传递结构化数据的方式。

为什么JSON在LLM时代不够用了？

JSON自2001年诞生以来，已成为软件间数据交换的无冕之王。它简单、明确、易于解析，每个开发者都熟悉它。但当我们与基于令牌运行的统计模型通信时，JSON的冗长性就成了问题。

让我们看一个简单例子。当你向LLM发送这样的JSON数据时：

{
  "users": [
    {"id": 1, "name": "Alice", "email": "alice@example.com"},
    {"id": 2, "name": "Bob", "email": "bob@example.com"},
    {"id": 3, "name": "Charlie", "email": "charlie@example.com"}
  ]
}

你需要为123个令牌付费。键"id"、"name"和"email"重复了三次，每个大括号、方括号、引号都消耗令牌。

真正的问题在于：JSON的结构标记是为确定性算法的明确解析而优化的，但LLM不需要这种明确性——它们需要的是统计上高效的子词单元。

TOON是什么？它如何解决JSON的痛点？

TOON（Token-Oriented Object Notation）是一种专为AI时代设计的数据序列化格式。它站在YAML、CSV和JSON的肩膀上，创造了一种既人类可读又令牌高效的新格式。

TOON的核心设计理念很明确：消除冗余，一次声明结构，流式传输纯值。

同样的数据在TOON中表示为：

users[3]{id,name,email}:
  1,Alice,alice@example.com
  2,Bob,bob@example.com
  3,Charlie,charlie@example.com

这种表示法立即带来了多重好处：

• 更紧凑：去除了重复的键和大部分标点符号
• 更可读：类似表格的表示让人类更容易理解
• 令牌更高效：相同数据比JSON少用30-60%的令牌
• 内置验证：明确的长度标记（[3]）帮助LLM验证输出完整性

TOON的语法规则：简洁而强大

TOON的语法设计直观易学，结合了多种流行格式的优点：

对象表示（使用缩进代替花括号）

user:
  id: 1
  name: Alex
  active: true

基本数组（声明长度和值）

tags[3]: admin,ops,dev

统一对象数组（TOON的超级功能）

适用于表格数据，每行具有相同结构：

products[3]{sku,name,price}:
  A1,Widget,9.99
  B2,Gadget,14.5
  C3,Doohickey,4.25

嵌套对象

meta:
  dataset: inventory
  version: 2025-11

非统一数组（使用YAML风格的破折号）

items[2]:
  - 42
  - name: Mixed
    type: object

这些简单的规则足以表示传递给LLM的真实世界数据中的约80%。

实践出真知：TOON在实际应用中的表现

理论上的节省令人印象深刻，但TOON在实际测试中的表现如何呢？

基准测试结果

根据一项针对五大AI模型的基准测试，TOON在准确性和令牌效率方面都展现了显著优势：

• 准确率：TOON全面领先，在gemini-2.5-flash上达到100%准确率，而JSON仅为72.2%
• 令牌消耗：提示令牌和生成令牌均有显著减少
• 综合表现：在所有测试模型上，TOON的准确率平均领先33%，令牌消耗降低30%以上

实际代码示例

对于Python开发者，可以通过ptoon库轻松集成TOON：

import ptoon

# 编码Python数据为TOON格式
data = {
    "users": [
        {"id": 1, "name": "Alice", "role": "Engineer"},
        {"id": 2, "name": "Bob", "role": "Designer"}
    ]
}

toon_str = ptoon.encode(data)
print(toon_str)
# 输出：
# users[2]{id,name,role}:
#   1,Alice,Engineer
#   2,Bob,Designer

# 将TOON解码回Python
decoded = ptoon.decode(toon_str)
assert decoded == data

# 比较令牌效率
result = ptoon.estimate_savings(data)
print(f"节省: {result['savings_percent']:.1f}%")  # 35.7%

真实场景的性能数据

在一个实际场景中，开发者使用一个简单的员工数据集，要求GPT"分析数据并按部门计算平均工资"。结果令人印象深刻：

+---------------------------------------------------------------------------+
| Type         | Prompt Tokens   |  Completions Tokens  |  Duration         |
|--------------+-----------------+----------------------+-------------------|
| JSON         | 1344            |  3475                |  00:00:28.3932721 |
| TOON         | 589             |  2928                |  00:00:23.4953152 |
+---------------------------------------------------------------------------+

这相当于**提示令牌减少了约56%**，并且有 noticeable 的5秒速度提升，而模型的输出质量保持不变。

令牌节省的复合效应：小改变，大影响

令牌节省不是线性的——它们是指数级的。有3行数据，你可能节省57%。有50行，节省可达64.7%。有100行，节省会进一步增加。

为什么？因为TOON的结构成本是固定的——一行声明{id,name,email}——但数据成本随行数增加。而在JSON中，结构和数据一起扩展，每行都承担其全部结构开销。

让我们算一笔经济账：假设你构建一个分析仪表板，每天向LLM发送指标进行自然语言总结。每批50行，4列。每月发送1000批。

使用JSON：~2，159 tokens/批 × 1，000批 = 2，159，000 tokens/月 使用TOON：~762 tokens/批 × 1，000批 = 762，000 tokens/月

按GPT-4每百万输入tokens 2.50美元计算：

• JSON成本：5.40美元/月
• TOON成本：1.91美元/月
• 月节省：3.49美元
• 年节省：41.88美元

这只是一个工作流程。扩展到多个代理、更大数据集或更高请求量，经济效益会显著增加。

何时使用TOON，何时坚持使用JSON

TOON并非万能药，它有明确的适用场景：

使用TOON当：

• 你向LLM传递结构化数据
• 需要降低令牌成本
• 希望LLM可靠地输出结构化数据
• 处理表格数据（库存、日志、交易、用户等）

坚持使用JSON当：

• 深度嵌套或非常不规则的对象
• 与期望JSON的API互操作
• 系统需要严格模式
• 数据量很小（<100令牌），优化 overhead 不值得

TOON并非旨在完全取代JSON——它只优化LLM工作流程。

TOON的生态系统和入门指南

TOON已经发展了多语言实现，使其易于集成到现有项目中：

• Python：ptoon包（pip install ptoon）
• .NET：ToonSharp
• Go：gotoon

对于Python开发者，开始使用TOON很简单：

1. 安装包：pip install ptoon
2. 在现有数据结构中替换JSON序列化
3. 测量令牌节省和准确性变化
4. 逐步扩展到其他适合的数据传输场景

向前看：TOON与AI发展的未来

有趣的是，我们仿佛走了一个完整的循环：**我们花了多年时间教AI输出结构化数据，现在正在优化我们的输入，以更好地适应它们的"语言习惯"**。

TOON代表了数据格式专门化趋势的开始。随着AI进一步融入我们的应用程序，我们可能会看到更多专门为机器学习模型设计的数据格式。

这种格式进化的核心是认识到了工程师和统计模型有不同的需求。我们正在从"机器可解析"转向"模型友好"，这一转变可能会在未来几年内重新定义我们与AI系统的交互方式。

写在最后

TOON提供了一种令人信服的JSON替代方案，特别适合与LLM的数据交换。凭借30-60%的令牌节省、改进的准确性和更快的推理时间，它值得任何在AI应用上花费大量令牌的开发者考虑。

虽然TOON不会完全取代JSON，但它在LLM输入优化领域提供了一个强大的工具。在数据格式方面，一刀切的时代可能正接近尾声，专业化、上下文感知的格式如TOON正引领着下一波创新。

你是否准备好尝试TOON，并亲身体验令牌节省的效果了呢？