大多数内容审核系统都面临一个尴尬，系统预设的分类标准往往和一线业务人员的直觉存在很大落差。当我们要定义健康食品或擦边标题党这种主观概念时，人类专家在标注前往往并不清楚边界在哪里，直到看见了具体的边缘案例。
Google Research 近期开源的 Agile Deliberation 试图解决这一难题。它不再预设人类已经懂规则，而是把大模型变成苏格拉底，通过两阶段交互，强迫人类在不断出现的边缘案例中，把模糊的观念写成严谨的定义。
为什么传统的主动学习失效了？
过去三年，Google 在主观视觉分类上动作频频，从 2023 年的 Agile Modeling 到 2024 年的 Modeling Collaborator，再到现在的 Agile Deliberation，思路发生了明显转变。
在生成式视觉语言模型（VLM）时代，传统基于模型置信度的不确定性采样（Uncertainty Sampling）失效了——模型给出的概率分数往往未经校准，不再具有参考价值。Agile Deliberation 给出的解法是基于语义边界的主动探索。
它通过 Gemini 模型生成查询，在图库中检索具有高度歧义的簇，再配合 UCB（置信区间上界）多臂赌博机算法挑选那些人类标注最棘手的图像。这其实不是在训练模型，而是在训练规则。
实验数据的真相：F1 涨了，但代价沉重
媒体在报道中往往只引用“平均 F1 提升 10.5 个点”这一耀眼数据，但如果不看指标拆解，很容易对该框架的效果产生误判。
根据论文实验，虽然在诱导付费和健康食品两项任务中，该方法相比零样本基线表现优异，但这一提升付出了明显的结构性代价。
| 指标变化 (Agile Deliberation) | Paid to Play | Healthy Food |
|---|---|---|
| 精确率 (Precision) | +22 pts | 未公布 |
| 召回率 (Recall) | -17 pts | -15 pts |
| F1 提升 (Avg) | +11 pts | +10 pts |
- **结论.** 通过不断叠加边界条件来优化 Prompt，模型变得极度严苛。它在判断正确率（精确率）上表现突出，但在覆盖范围（召回率）上出现了 15-17 个点的崩塌。在实际审核业务中，这直接导致大量本该被拦截的违规内容被漏放。
另外，论文中还有一个有趣且反常的发现，在健康食品概念上，人工对照组（Manual Deliberation）的效果不仅没提升，反而比零样本基线下降了约 3%。这也说明在主观领域，脱离辅助工具的人类其实并不擅长定义规则，我们只有在看到反例时，才能被迫修正认知。
需要警惕的两个隐性错位
在考察这项技术时，有两个关键事实必须厘清。
- 架构分工的代差。媒体报道中提到这是基于 Gemini 2.5 系列的工具但实际上，CVPR 2026 原论文的实验跑分是基于 Gemini 2.0 的。GitHub 最新开源的 Demo 为了保持更新换成了 2.5，因此你如果复现原论文的指标，不能直接照搬最新代码配置。
- 受试者的局限性。实验仅找了 9 名缺乏专业审核背景的普通人进行研究这与互联网平台动辄成百上千人的资深审核团队协作场景相去甚远。在复杂的现实审核环境里，Agile Deliberation 产出的结构化定义能否作为跨部门通用的标准，还有待观察。
从 2023 年 Agile Modeling 到 2026 年 Agile Deliberation，Google 的核心探索路线非常清晰，AI 已经不再是那个躲在后台偷偷打标的苦力。当它能够逼着人类把模糊的规则变成清晰的 Prompt，这种规则治理能力，远比单纯的分类准确率更有意义。
- 提醒.不要被 10.5 的 F1 增幅蒙蔽，在安全审核场景中，召回率下跌 17 个点可能是无法接受的业务事故。
所谓锐评：AI不再只是自动化的标注工，而是逼人看清规则边界的苏格拉底。但规则越严，漏网之鱼越多，这就是自动化的代价。