Google 给自己出的考卷，自己没考出好成绩。今天更新的 Android Bench 一口气加入了 Claude Fable 5、GPT 5.5 等八款新模型，结果最该有主场优势的 Gemini 3.1 Pro，不仅没能借着改版翻身，反而跌到了第五名，排在 GPT 5.4、Claude Sonnet 5 和 Claude Fable 5 之后。这道题是 Google 自己出的，考的是 Android 开发，自家学生却没挤进前三，这比冷冰冰的分数更值得琢磨。
Android Bench 考什么
Android Bench 是 Google 今年 3 月推出的评测，专门看大模型写 Kotlin、用 Jetpack Compose、调试 Android 特有 API 的真实本事，一共 100 道开发题。思路和考通用软件工程能力的 SWE-bench 差不多，只是把考场换成了 Google 自己的地盘。这类智能体编程基准这一年迅速盖过了 MMLU、Arena 这种偏对话推理的老榜单，因为企业挑模型，越来越看重它能不能真的把活干完，而不是聊得好不好。
改版之后，谁排在前面
新一轮更新加了 Claude Fable 5、Claude Sonnet 5、Claude Opus 4.8、GLM 5.2、Kimi K2.7 Code、MiniMax M3、Qwen 3.7 Plus、Qwen 3.7 Max 共八款模型。Fable 5 拿下 84.5% 的准确率，把第一名的位置拉出了不小的差距，Gemini 3.1 Pro 排到第五，已经不是小差距能解释的问题。
早前存档的初版榜单里，Gemini 3.1 Pro 一度和 GPT 5.4 打平——那是 Android Bench 首发时的成绩，只是即便那一版，Ars Technica 也提到 OpenAI 已经小幅领先。换句话说，Gemini 从来没在这份自家基准上真正登顶过，这次改版只是把差距摆得更明显。
分数之外，跑一次测试的成本同样有意思。Fable 5 和 GPT 5.5 这两个头部选手，跑完 100 题、10 轮下来都要烧掉 130 美元以上；Gemini 3.1 Pro 分数没那么高，反倒只要 87 美元。真正的反差在 Gemini 3.5 Flash 身上——这款主打便宜的模型，因为跑得慢、耗时 28 小时，单次成本反而冲到全榜最高。便宜的模型跑成了最贵的账单，这个反差比排名本身更扎眼。
| 模型 | 单轮成本 | 耗时 | 备注 |
|---|---|---|---|
| Claude Fable 5 | 130 美元以上 | — | 榜首，84.5% |
| GPT 5.5 | 130 美元以上 | — | 高成本高分 |
| Gemini 3.1 Pro | 87 美元 | — | 成本最低，分数中游 |
| Gemini 3.5 Flash | 165 美元 | 28 小时 | 主打便宜，实测最贵 |
主场为什么打不过客场
Google 官方没多解释，但一个细节值得留意：据报道，Google 一直在向开发者出价，想买下他们的应用源码用于 AI 训练。这多少说明了问题所在——Android 生态虽然是 Google 的地盘，但真正高质量、能拿来训练的原生代码，Google 手里未必比想象中多。主场优势是理论上的，训练数据的差距才是实际的。
更值得留意的是这份榜单本身。Google 这次把评测框架换成了 Harbor，并把所有旧测试重新跑了一遍当基准——题目没变，分数却因为跑法变了而跟着挪动。也就是说，"跌到第五"不是一个钉死的事实，而是这一版快照的结果，下一版换个框架、加几个模型，名次还会再挪。
基准不是判决书，是不断重写的草稿。
- 结论.Android Bench 越开放、越常改版，对开发者反而越有用——它逼着每家模型在真实任务上见分晓，而不是躲在自家发布会的演示里。
- 风险.榜单本身还在变动，今天的第五名不代表长期结论，拿它做采购或选型决策前，最好等分数再稳定几轮。
Google 有的是把 Gemini 硬塞进自家产品的办法，但这次它选择了一条更诚实的路——自己搭台，自己请来对手，输了也认。古人说胜败乃兵家常事，对一家还想在开发者心里立信誉的公司来说，敢把自己的短板摆到台面上，比嘴上说领先更值钱。真正该盯着看的，是 Gemini 下一版能不能真的追上来，还是继续靠"主场"这两个字硬撑存在感。