1008张SVG未发现“鹈鹕特训”，基准污染仍不能排除

“鹈鹕骑自行车”原本只是一个颇有喜感的模型测试：让AI用SVG画出一只骑自行车的鹈鹕，看它能不能同时处理动物结构、载具结构、空间关系和代码输出。

问题也随之而来。这道题出名之后，实验室会不会偷偷给它“开小灶”？一项覆盖7个前沿模型、共1008张SVG的小实验给出的答案很克制：没有发现明显证据。

反常之处在于，鹈鹕并没有考得多好。它在8种动物中只排第6，自行车也没有形成异常高分，“鹈鹕+自行车”更没有明显压过同一模型的其他作品。

这至少说明，眼前没有一只被训练得油光水滑的“榜单专用鹈鹕”。

8种动物乘6种载具，把一道名题拆开检查

实验没有只重复生成“鹈鹕骑自行车”，而是搭了一个对照矩阵。

这个设计比单盯一道题聪明。

研究者同时检查了三个位置：

• 鹈鹕这一整行.模型是不是普遍更会画鹈鹕；
• 自行车这一整列.模型是不是对自行车格外熟练；
• “鹈鹕+自行车”单元格.这个知名组合有没有单独冒尖。

如果实验室专门强化过鹈鹕，整行可能虚高；如果强化过自行车，整列可能虚高；如果只针对那句著名提示词训练，异常则可能集中在交叉单元格。

结果没有出现这种整齐的“考试押题痕迹”。鹈鹕综合排名仅列8种动物中的第6，自行车也未显著占优。研究者做直观检查时，同样没有发现“鹈鹕骑自行车”明显好过同一模型生成的其他动物与载具组合。

因此，这项实验支持的结论很窄：在这1008张SVG里，没有抓到明显的定向优化信号。

再往外推，就过界了。

没抓到异常，离“证明清白”还很远

我更在意这项实验的边界。

每个单元格只有3次生成。生成模型本身带有随机性，一次构图顺利、一次轮子变形，就可能拉动结果。8种动物和6种载具如何选择，也没有形成严格、均衡的统计抽样。

评分环节同样留下了问号。GPT-5.6 Luna担任LLM裁判，Gemini 3.1 Flash-Lite负责特征识别，但现有材料没有交代裁判是否盲测、是否做过人工复核，也没有提供实际分数、方差和完整显著性检验。

模型裁判很方便，却不是无色玻璃。它可能偏爱某种SVG写法，也可能把“看起来像”误判成“结构正确”。没有人工盲测对照，评分只能算一种自动化测量，不能冒充最终裁决。

还有一个推理漏洞：鹈鹕行和自行车列没有虚高，并不能彻底排除组合级训练。实验确实检查了“鹈鹕+自行车”单元格，这比只看行列严谨；但每格3个样本，仍很难识别轻微、偶发或只在特定措辞下出现的定向优化。

所以，标题只能写“未发现明显证据”，不能写成“实验室没有特训”。

这更像一次小规模排查，不是统计定案。

古德哈特定律有一句常被评测圈引用的话：当一个指标成为目标，它就不再是好指标。公开基准走红后，模型团队会研究它、用户会传播它、训练数据也可能收进相关网页和答案。即使没有人主动作弊，测试题也可能在一次次转发中渗入训练语料。

这和学校围着公开题库教学很像，但并不完全一样。考试押题通常能追到教材和课堂，大模型的训练数据却难以外部核验。基准污染可能来自主动优化，也可能只是互联网语料自然回流。两者在结果上很接近，在责任判断上却不是一回事。

还得划清能力边界。SVG生成测到的是结构化代码输出、视觉语义和空间组合能力的一小块，不能顺手外推成模型整体推理、编码或多模态能力。鹈鹕画得好，不代表代码仓库修得好；鹈鹕画得差，也不能证明模型不会推理。

真正该改的是我们看榜单的方式

这件事影响的不是鹈鹕，而是模型发布叙事。

实验室喜欢用醒目的单项成绩证明模型升级，民间也喜欢用一道有传播力的题迅速分高下。两边都能获利：发布方拿到简单故事，读者省下理解复杂评测的时间。

代价是，分数很容易脱离测试条件。题目公开多久、提示词是否流行、是否反复调参、样本量多大、由谁评分，这些信息常被藏在排行榜下面。

不同读者需要采取的动作也不同。

如果你正根据榜单选模型，最稳妥的做法不是寻找“绝对干净”的总分。那种分数大多不存在。应该拿自己的真实任务做一组未公开测试，再观察失败是否稳定、成本是否可接受、版本更新后能力是否漂移。

评测团队接下来也该补足几个变量：公开7个模型名单和完整48组组合，披露提示词、原始SVG、分数与方差；把每格生成次数拉高；加入不同措辞的同义提示；再用人类评审做盲测复核。

做到这些，才能区分三种情况：模型真的具备通用能力，模型只是熟悉某类题型，模型碰巧在少量样本里发挥得好。

这项实验少见地没有急着给实验室定罪，这是它做对的地方。但公开基准的麻烦从来不只在“有没有人作弊”，还在于一旦行业开始追逐同一张成绩单，训练、宣传和评测就会慢慢缠在一起。