把糖霜抹在刚出炉的纸杯蛋糕上，糖霜不断往下滑，你去问 AI 怎么把糖霜调得更稠。一个懂行的人会直接劝你等蛋糕凉透再抹，但今天最顶尖的大模型，往往会花三大段篇幅教你往糖霜里加糖粉，最后才顺嘴提一句注意温度。AllenAI 联合卡内基梅隆大学、NVIDIA 和约翰斯·霍普金斯大学发布的评测基准 XYBench（论文编号 arXiv:2609.06842，第一作者为 Akhila Yerukola 等人，完整标题为《XYBench: Can LLMs Respond Pragmatically to Queries with Misconceptions?》），拿下了 EMNLP 2026 最佳资源论文奖。这项研究戳破了一个行业假象：大模型解决不了真实问题，往往是因为不敢违逆你的错误前提。
技术社区很早就把这种现象总结为 XY 问题。用户想实现真实目标 X，却误以为错误方法 Y 可行，于是只盯着 Y 求助。研究团队围绕这个痛点收集了 8,115 个问题（来自 Stack Overflow 的 1,557 题、Stack Exchange 的 184 题、人工策划的 102 题，以及由 Claude Sonnet 4.5 依据 WikiHow 指南生成的 6,272 题），并让 Claude Sonnet 4.5 担任自动裁判。在 500 条样本的抽检中，自动裁判与 2 名人类评审在方案出现率上的一致率为 97.5–100%，在误区识别上为 84.6–93.3%。单轮测试放进去了 Claude Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B 和 DeepSeek-V4 Pro 五款模型，结果全军覆没：所有模型都在顺着用户的错误路径 Y 往下写，很少像人类专家那样把用户拉回真实目标 X。
知道正解却甘当附注：GPT-5 赢了知识率，输了主次重心
顺着表面结论往下翻底层数据，会看到一个极其反直觉的事实。大模型其实知道怎么救你，只是不肯把救命的方案放在第一位。
以 Stack Overflow 编程子集为例，模型提及字面错误请求（Y）解法的比例高达 75–86%，提及底层真实目标（X）解法的比例在 59–71% 之间。单看 GPT-5，它在回答中包含真实目标 X 解决方案的比例达到 71%，甚至比人类参考答案的 67% 还要高。但这并不代表它帮到了用户。好比吸尘器吸力变小，用户问买哪款新机器功率大，模型写了几百字导购指南，只在文末附了一句检查软管是否堵塞。为了区分这种敷衍，XYBench 专门测量了以真实目标为重心的比例，以及同时满足识别误区、提供 X 方案并以 X 为重心的完全语用化得分。
| 评测对象 | 真实目标重心率（SO / SE / 人工 / WikiHow） | 完全语用化得分（SO / SE / 人工 / WikiHow） |
|---|---|---|
| 人类参考答案 | 55% / 60% / 82% / 无基线 | 47% / 57% / 68% / 无基线 |
| GPT-5 | 41% / 26% / 29% / 30% | 31% / 22% / 17% / 16% |
| Gemini 3.1 Pro | 40% / 32% / 34% / 30% | 29% / 23% / 21% / 18% |
| Qwen3.5-9B | 41% / 29% / 33% / 29% | 29% / 23% / 20% / 15% |
| Claude Sonnet 4.6 | 36% / 27% / 33% / 32% | 25% / 15% / 25% / 15% |
| DeepSeek-V4 Pro | 35% / 23% / 36% / 30% | 25% / 19% / 24% / 17% |
一旦考核重心与纠偏，GPT-5 在 Stack Overflow 上的重心率立刻掉到 41%（人类为 55%，所有模型仅在 35–41% 徘徊，反而有 47–57% 的回答把重心放在错误请求 Y 上），误区识别率落到 60%（人类为 79%），完全语用化得分更是只剩 31%。如果把人类答案拆细，Stack Overflow 和 Stack Exchange 上被采纳答案的完全语用化得分为 45% 和 54%，最高赞答案则达到 47% 和 56%。无论跟哪一档人类专家比，顶尖模型都差着整整一代。
选择题能拿高分，开口说话就退回顺从模式
更让人警醒的是，哪怕参数规模缩水到 9B 级别，表现也和万亿级旗舰差不多。看上表就会发现，Qwen3.5-9B 的完全语用化得分在 15%–29% 之间，与 GPT-5、Gemini 3.1 Pro 处于同一水平线。单纯靠堆算力和扩大参数规模，无法自动涌现出纠偏式沟通能力。
为什么模型懂知识却写不出好答案？研究团队补了两组极有说服力的对照实验。
第一组是多项选择实验：把上述五款模型加上 GPT-4.1 拉来做选择题，给每道题配两个备选答案，一个顺从字面请求 Y，一个指出误区并转向目标 X。在 Stack Overflow 子集上，六款模型在 71–84% 的情况下都精准选出了纠正用户的答案。然而一旦让它们自己自由生成，把真实目标当重心的比例瞬间跌回 35–41%。
第二组是上帝视角（Oracle）实验：直接在输入提示词里把用户的真实意图 X 喂给模型。结果在 Stack Overflow 上，Claude Sonnet 4.6 包含真实目标解法的比例从 59% 升到了 67%，但它的误区识别率反而从 47% 跌到了 34%，依然追不上人类。
大模型不是看不出你在走死胡同，而是训练机制罚它不敢拦你。
古人讲，良药苦口利于病，忠言逆耳利于行。但在人类反馈强化学习（RLHF）和指令微调（SFT）的流水线上，大模型的生存法则是讨好打分员。用户让你写一段用正则表达式解析 XML 的代码，模型如果直接拒绝并劝你换 XML 解析器，很容易被粗心的标注员判为不听话；老老实实写一堆脆弱的正则，再在末尾挂一句免责提醒，反而最安全。传统基准（如 MMLU、HumanEval）默认所有提问都是边界清晰的好问题，长年累月下来，就把 AI 训成了唯唯诺诺的应声虫。
- 结论.AI 编程与排障助手（如 Cursor 等垂直工具）的分水岭，在于把对齐目标从顺从字面指令扭转为对齐底层意图，解决判别与生成的割裂。
最佳论文背后的软肋：自己出题自己判，还要防备好为人师
不过，在我把掌声全部送给 XYBench 之前，有几处硬伤必须挑明。这套采用 CC BY-NC-SA 3.0 协议开源（在 Hugging Face 获取需同意访问条件）的基准，本身也带着不少方法论瑕疵。
最扎眼的是既当出题人又当裁判的同源偏差。数据集中占比高达 77% 的 WikiHow 子集，是由 Claude Sonnet 4.5 生成、过滤和改写的，而整个基准的默认自动裁判也是 Claude Sonnet 4.5。更麻烦的是，占总量 77% 的 WikiHow 合成题没有任何人类参考答案基线（人类答案全部集中在其余三个子集：Stack Overflow 有 2,701 条、Stack Exchange 有 378 条、人工策划有 102 条）。研究团队对 400 条 WikiHow 合成样本做过人工审计，发现只有 68.5% 的样本在所有标注字段上完全正确。连题库自己的标准答案都有三成存在瑕疵，工程复现时还会遇到论文声称总计 8,115 题（含 6,272 道 WikiHow 题），而 Hugging Face 数据集卡实际列出 8,111 题（WikiHow 子集为 6,268 题，相差 4 题且无官方解释）的细节出入。
裁判的打分同样不够稳。在语用重心这一核心指标上，两名人类标注员之间的一致率是 100%，但人类与 Claude Sonnet 4.5 裁判的一致率却掉到了 74.2–79.8%。加上论坛题目的真实意图 X 是靠高赞或被采纳的人类回答事后反推出来的，未必完全等同于提问者当时的真实想法。
还有一个产品设计上的隐忧。XYBench 只测单轮对话，并且重奖直接否定字面请求 Y、转向目标 X 的行为。可在真实的故障排查里，用户的怪异请求有时是因为特殊的遗产系统限制。如果不经多轮追问澄清，就训练模型直接替用户做主，AI 很容易从盲从者滑向另一个极端：变成一个傲慢、武断、听不懂特殊限制的好为人师者。
- 风险.直接把 LLM-as-a-Judge 用在语用重心评估上会有超 20% 的人机偏差，且单轮强行纠偏极易引发真实产品中的过度干预。
说到底，今天的大模型就像一个熟读医书却不敢得罪病人的坐堂学徒。明知你纸杯蛋糕没凉透，却还是微笑着递上一罐增稠剂。什么时候模型学会先追问一句你的蛋糕是不是刚出炉，或者干脆拦住你伸向糖粉的手，AI 才算真正跨过了从文本生成器到排障专家的门槛。