机器学习教科书上写满了一条铁律：严禁反复拿验证集指导调参，否则数据不再独立，模型终将陷入严重的自适应过拟合。然而过去十年里，整个人类学术界反复刷着 ImageNet 和 CIFAR 等老旧基准，产出的改进却多半能向新数据有效迁移。教科书的警告与现实的繁荣之间，横亘着一道未解之谜。
2026 年 6 月 9 日，来自 Amazon Responsible AI 团队的 Martin Andres Bertran 与宾夕法尼亚大学、卡内基梅隆大学学者 Aaron Roth、Zhiwei Steven Wu 提交了一篇题为《What Fits (Into Few Tokens) Doesn’t Overfit》的论文，并在 9 月通过官方博客给出了解释。他们利用基于 Claude Opus 与 Claude Code 搭建的自主科研智能体，首次在完全可重置记忆的数字化环境中完成受控验证：智能体刷榜不翻车，核心在于成功的策略天然具备极高的信息可压缩性。
32个token的信息窄门与92.7%的复现奇迹
研究人员之所以无法在人类学者身上做这类实验，是因为不可能把整个学术界的记忆全部抹去重来一遍。但基于大语言模型的科研智能体提供了全新抓手。研究团队设计了一套三角色分权管线：负责在验证集上反复试错迭代的 Explorer，负责把获胜策略提炼成极短提示词的 Compressor，以及记忆被完全擦除、只能拿到压缩提示词和训练集的 Reproducer。
测试覆盖了 8 类代表性任务，包括 Folktables 表格分类、合成基因表达分类、SST-2 情感分析、CIFAR-10 图像分类、CIFAR-100 扩散生成、ImageNet-1K 视觉分类、HH-RLHF 奖励建模与 WikiText-103 语言建模。
在全部 41 个模型改进检查点中，仅获得 32 个 token 策略提示词的 Reproducer，在 92.7%（38/41）的情况下完全复现甚至超越了 Explorer 的改进成绩。即便把预算放宽到 64 token，通过率依然维持在相同的 38/41。32 token 复现在各具体任务上的通过表现极度稳固：Gene-Expr 达到 4/4，Folktables 达到 4/4，SST-2 达到 4/4，HH-RLHF 达到 4/4，WikiText-103 达到 5/5，CIFAR-100 Diffusion 达到 5/5，仅在 ImageNet-1K（5/7）与 CIFAR-10（7/8）上各丢失一两例。
真正有效的算法策略极度纯粹，而投机取巧的作弊往往冗长不堪。
这正是奥卡姆剃刀原理在信息论中的具体具象。一段仅有 16 到 32 个 token 的字符，空间容量甚至不足以暗中记录三四个样本的标签。当一个模型能够凭借这样一条短指令在未见测试集上跑出高分，它只能是抓住了数据分布的真正内在结构。
1比特信号的胜利与过拟合照妖镜
实验中另一个反直觉的发现来自输入端的信息截断。常规做法中，工程师和智能体都需要精确到小数点后四位的数值验证跑分来微调权重。但在极限输入压缩测试里，研究人员将验证集的连续跑分直接阉割为仅仅 1 个比特 的布尔信号：只告诉智能体新方案相比上一版有没有提升。
结果出人意料。在所有 8 项任务的最终保留集测试中，仅依赖 1 比特反馈的 Explorer，其表现完全持平甚至微幅超越了拥有连续数值精度的对照组。精细的小数点反馈反而像一个诱饵，驱使智能体把精力浪费在拟合评估噪声上；粗粒度的二元信号则迫使它把注意力放在架构级、方向性的有效变更上。
基于 Ladder 机制建立的 95% 置信区间计算显示，5 项分类任务在最终检查点的验证集与 Holdout 集实测差距仅在 0.0 到 1.9 个百分点 之间，严格落在理论置信半宽（如 SST-2 的 ±0.96 个百分点、Folktables 的 ±1.16 个百分点、CIFAR-10 的 ±2.50 个百分点）以内。
压缩机制不仅能解释泛化，还能充当反作弊的物理防火墙。在故意诱导过拟合的压力测试中，研究人员向智能体注入强行刷分指令、样本级验证集访问权限或标签噪声。在总共 102 个检查点里，产生了 38 个验证集虚高超过 10% 的严重过拟合方案。当要求把这些方案压进 128 个 token 时，无法被浓缩的作弊信息瞬间被滤除，检测灵敏度达到 100%，特异度达到 91%，F1 值为 0.93，诚实检查点的误报仅有 6/64。
调参工程的泛化不等于科学研究的突破
尽管这套信息瓶颈理论漂亮地化解了验证集过拟合疑云，但若以此断定自主科研智能体即将取代人类科学家，无异于混淆了工程搜索与范式创新。
这项研究中的 Holdout 集只是从既有公开数据池内部独立切分出的数据。过往针对 17 个学科、329 篇机器学习论文的元研究早已揭示过惨痛教训：数据泄漏带来的虚假繁荣普遍存在，一旦堵住漏洞，复杂机器学习模型相对简单逻辑回归的优越感往往荡然无存。Claude Opus 在实验中的从容，很大部分来源于它在预训练期早已彻底消化了 ImageNet、CIFAR-10 和 SST-2 的工程套路，那 32 个 token 的压缩密码，更像是唤醒了底层先验的索引指针。
当场景切换到真正的硬核科研环境时，智能体立刻暴露出局限。在更具挑战性的 MLE-bench 75 项 Kaggle 竞赛中，当前最佳初始配置在仅有 16.9% 的赛题上能勉强摸到铜牌线；而在面向科研论文复现的基准 PaperBench 上，最顶尖智能体的平均复现得分只有 21.0%。
- 提醒.通过 32-token 压缩测试只能证明智能体没有偷看样本死记硬背，绝不代表它具备了理解物理规律或因果推断的能力。
对于正在搭建 LLM 科研工作流的工程团队而言，这篇论文给出的现实启示十分具体：与其任由智能体在无限的上下文里发散试错，不如在输入端改用 1-bit 二元胜负信号，并在输出端强制套上极短描述的压缩瓶颈。这不仅能斩断无谓的算力空转，更是在工程上杜绝自适应过拟合的最廉价防线。