把同一份2,888字符的TypeScript文件喂给不同模型,GPT-5.x把它切成681个token,Claude最新的tokenizer却切出1,178个——同样的代码,同样的计费单位,账单直接多出73%。
更扎心的是,这个差距不需要跨厂商竞争才能制造出来。Anthropic自己把Opus 4.6升级到Opus 4.8,标价一字未改,还是$5/$25每百万token,可换了新tokenizer之后,同一份代码就悄悄多算了31%的token。定价页从来不印这个数字,它只藏在账单里。
定价页卖的是单价,账单算的是乘数
"每百万token多少钱"是所有模型定价页唯一愿意摆上台面的数字。但token本身不是一个稳定的度量单位,它是分词器(tokenizer)说了算的——同一段代码,不同厂商的分词器能切出完全不同数量的token,而账单是"token数×单价"算出来的。
单价谁都能一眼比出高低,token数却没人印在任何地方。这就是为什么两家模型标价一样,你付的钱可能完全不一样。
上面这张图里,GPT-5.x的o200k分词器对TypeScript最省,Grok和Gemini居中,Claude新版最贵——同一份代码,五家模型切出的token数几乎差了一倍。
两层地板:一层是自己人涨的,一层是跟对手比出来的
第一层涨价发生在Anthropic自己家里。Opus 4.6和Opus 4.8的标价完全相同,但4.8用的新分词器让同一份TypeScript文件多出31%的token——相当于"标价没动,分量悄悄少了三成"。这个涨幅不止出现在TypeScript上,Rust、Python等代码类型都有类似比例。
第二层是跨厂商的差距,而且专门挑在你最常用的地方最狠。以GPT的o200k为基准,Claude新分词器在英文文本上大约贵四成,但在TypeScript上贵到73%——这恰好是AI编程agent每天在处理的东西。
标价没动,分词器动了,账单自己涨了三成。
定价页之外,还有三件事没人提
Anthropic的定价远不止$5/$25这一档。文档里还有一个Fast模式,输入输出单价直接翻倍到$10/$50。如果agent默认跑在Fast模式上,token数先涨31%,单价再翻一倍——两笔账叠在一起,实际成本差距比原始的73%更极端。
| 版本 | 标价(输入/输出,每M token) | 同一文件token数 | 相对涨幅 |
|---|---|---|---|
| Opus 4.6 | $5 / $25 | 898 | 基准 |
| Opus 4.8 标准模式 | $5 / $25 | 1178 | +31% |
| Opus 4.8 Fast模式 | $10 / $50 | 1178 | +31%(token)×2(单价) |
- 风险.如果开发者默认用Fast模式跑高频agent任务,实际多付的比例会远超31%或73%这两个"官方可查"的基准数,而这层叠加从来不会出现在任何对比文章里。
Anthropic自家的count_tokens接口,官方文档写得很清楚——返回的是"估计的"token数,可能和最终计费请求存在出入,系统自动加的token也不计费。也就是说,73%和31%这两个数字是目前能拿到的最好证据,但不等于每一张真实账单都精确复刻这个比例。
拿来当跨厂商标尺的GPT的o200k_base,OpenAI自己的文档把它定性为"给GPT-4o类模型用的编码方案",并不是为了给别家模型估算token而设计的通用尺子。它好用,是因为公开、冻结、可复现,不是因为天生权威。正因为这把尺子不是万能的,DeepSeek和GLM这类没有开放真实tokenizer接口的模型,目前只能靠字符数除以四粗算,谈不上可靠对比。
谁该在意,接下来看什么
两千多年前,秦始皇统一度量衡,为的是不让商人在"斤""尺"上做手脚。今天的AI计费里,token就是一个没被统一的度量衡——各家分词器各定义各的"一斤"。秦制靠政令统一,AI计费靠厂商自说自话,两者远不是一回事,但"先统一度量,才能谈公平交易"这句话,放在今天依然成立。
真正该在意这件事的,是那些用AI编程agent跑TypeScript、Rust之类代码的开发者和企业客户——他们最容易在"同款型号换代、标价没变"的场景里,不知不觉多付三成。对Anthropic来说,这更像一次没摆上台面的成本转嫁:换分词器不需要公告,不需要解释,账单自己会说话。
接下来值得盯的,是Anthropic会不会在定价页补一句说明,以及下一代Claude是否会在分词效率上做出回应——这道题,GPT已经用o200k交出一份能打的答卷。
- 结论.定价页比的是单价,真正决定你付多少钱的是分词器,而这部分从没被印在任何官方页面上。