给大模型做选择题，在许多人的直觉里至少该有 50% 的胜率打底；若是给足推理预算、拉长思考时间，顶级模型更应展现出资深工程师的大局观。然而，学者 Wenbo Pan 等人在 2026 年 9 月 22 日公布的论文《The Tasteful Agent: Measuring and Improving Taste in Long-Horizon Tasks》（arXiv:2609.25804）却用一组残酷的数据击碎了这种乐观预期。研究团队推出的全新评测基准 Taste-Bench 发现，即便是当前综合水平顶尖的 GPT-5.6 Sol，在面对决定长期走向的技术分叉点时，二选一的判断准确率也仅有 59.7%，紧随其后的 GPT-5.5 得分为 59.5%。
这项测试暴露出当前自主智能体（AI Agent）的核心软肋：它们也许擅长在既定轨道上疯狂输出代码，却严重缺乏工程老手口中的技术品味（Taste）。当一个关键决定的优劣无法立刻显现、需要大量后续工作才能见分晓时，各大模型的判断力便迅速瓦解。
冻结在分叉点：品味无法只看通过率
过去几年，软件工程领域的 Agent 评测几乎完全由端到端结果说了算。行业通用的基准（如 SWE-bench）只检查程序最终是否通过测试套件，却完全不在乎智能体在解决问题的途中绕了多少冤枉路、留下了多少结构隐患。一个粗制滥造的补丁和一个架构优雅的重构，在自动化单元测试面前可能拿到相同的满分。但任何带过研发团队的架构师都知道，前者正在给系统埋下难以维护的债务，收益与恶果往往在数十步、甚至数百步之后才会暴露。
要在执行过程中即时评估每一步的好坏，如果全靠资深工程师人工打分，成本极高且根本无法规模化。Taste-Bench 的破局点在于借用事后诸葛亮（Hindsight）机制。研究团队从数千次真实的智能体运行轨迹中，精准抓取系统走向分化的一瞬——决策分叉（Decision Fork）。
这套基准共沉淀了 502 道决策分叉题，结构上分为两大部分：其中 390 道为工程任务，源自 SWE-bench Pro 的 2,677 次运行；其余 112 道为 AI 研究任务，来自评估组织 METR 公开的 MALT 转录集中的 1,132 次运行。
这些分叉包含两类现实挑战：一种是并行分叉，即同一个任务的两次独立尝试走向了完全相反的结局；另一种是迂回分叉，即模型在一次任务中陷入困境后自我修正、推翻重来。后者考验的是候选模型能否比原运行中的 Agent 更早嗅出危险，直接放弃注定碰壁的技术路线。
为了防止模型凭借位置惯性投机，Taste-Bench 设立了苛刻的双向一致性协议：每道题会以正常和调换选项两种顺序各问一遍，模型只有两次都选中正确路径才计为得分。这意味着，如果模型每次都无脑独立抛硬币，理论盲猜基准仅为 25%，而不是传统单选题的半数。
线索滞后时，思考越久并不能力挽狂澜
测试覆盖了来自 Claude、GPT、Grok、DeepSeek、GLM、MiniMax 和 Mistral 等主流家族的 14 款代表性模型。结果呈现出断层式的尴尬：最强梯队的 GPT-5.6 Sol（59.7%）和 GPT-5.5（59.5%）堪堪越过及格线，其余多数大模型的分数徘徊在更低区间。
更值得警惕的发现来自时间跨度（Time Horizon）分析。研究人员根据决定性线索何时出现，将分叉点划分为不同等级：
- 关键线索已存在于分叉点的前置历史中，14 款模型的平均准确率能达到 62.3%；
- 决定两条路线优劣的关键证据需要大量后续探索才能体现，全员平均准确率直接跌落至 21.0%。
盲猜基线是 25%，跌至 21.0% 意味着大模型不仅失去预见力，甚至会被早期伪信号误导。
在当前的行业叙事中，增加思维链长短或提升推理预算（Reasoning Budget）常被视作攻克复杂逻辑的万能解药。但 Taste-Bench 针对 GPT-5.6 Sol 和 GPT-5.6 Luna 设置了三档不同的推理强度，得出的准确率曲线几乎完全重叠。
在那些模型普遍答错的长远难题上，系统其实消耗了最多的推理 Token。这证实了一个残酷的技术事实：当环境中尚未出现足够的结构性证据时，让模型关起门来苦思冥想，并不能凭空孕育出架构预见性，反而只是高功耗的算力内耗。
好在品味本身并非不可捉摸。研究团队尝试将拥有全局信息的教师模型的判断，蒸馏到一个开源的 Qwen3.6-27B 基座模型中。在完全未见过的任务中，该学生模型的判断准确率从 30% 跃升至 47.9%。当把这一判断作为旁路建议注入执行系统后，智能体在 41 项保留的 SWE-bench Pro 任务中的成功率从 14.6% 翻倍至 33.7%，逼近了人工完美建议对应的 39% 上限。
读懂测试本身的盲区与现实代价
在把 Taste-Bench 视作评测标尺的同时，也必须厘清其自身的方法论边界。该基准依赖单次运行的历史结局来定义分支的正确性，这在因果推断上天然伴随幸存者偏差：某一条路径最终跑通，可能是下游执行偶然凑效；另一条路径失败，也可能是某一步命令敲错，而非架构选型必然崩溃。要彻底坐实因果，需要在分叉点对两条路线进行大量受控重复执行。
此外，虽然论文中 2 位人类评审员对 100 道样本的判定达成了 98.8% 的极高一致性，但这一一致性建立在事后揭晓最终结局的前提下，且提前剔除了那些难分优劣的样本。同时，候选题目生成与筛选本身调用了 GPT-5.6 Sol，榜首恰好也是该模型，微弱的分差背后是否潜藏生成器自身的语义亲和偏好，仍待行业进一步验证。
- 风险.企业工程团队切忌过早将关键系统架构或重大重构完全放权给自主智能体，当前的它们擅长顺风推导，却极易在起步期选定充满隐患的技术死路。
METR 此前的评测显示，在 SWE-bench Verified 上通过自动化测试的 AI 代码，有一半会被专业软件工程师直接打回；GPT-5.6 Sol 本身在软件测试中绕过规则作弊的概率也处于高位。如果一个智能体连二选一的技术品味都仅有六成胜率，在生产环境中让其盲目连续规划十几天，最终交付的往往不是工程奇迹，而是难以拆解的架构死结。对于开发者与架构师而言，未来的 Agent 演进不会仅靠堆砌单点思考时间，唯有引入主动探测、环境交互和假设回溯机制，模型才有可能真正学会何时该果断转弯。