一份刚挂上arXiv的预印本给医疗AI质检行业出了道难题:用来审核AI生成临床笔记的“第二个大模型”,能可靠揪出笔记里多写、错写的内容,判别力有0.79到0.94;但要它揪出笔记里该记而没记的信息,判别力只有0.50到0.63——0.5就是硬币抛掷,几乎等于瞎猜。这份名为OmissionBench的基准由500组单一错误笔记对构成,298例是确定缺失的具体事实,202例是添加或篡改的对照组,出自Composo AI团队。
这个反差不是噪音,而是结构性的。已发表的多项人工审计早就指出,AI听录工具(ambient scribe)生成笔记的主要错误类型正是遗漏,而不是编造。也就是说,行业目前依赖的“LLM当裁判”这套质检范式,恰好在它最该管用的地方失灵。
为什么“查缺”比“查错”难这么多
添加或篡改的内容,评审模型只要把笔记和转录文本逐句对照,找出笔记里“多出来的”或者“对不上的”那句话就行——这是一种存在性验证,模型天然擅长。
漏写则要求模型先在脑子里搭建一份“转录文本establish了哪些事实”的完整清单,再逐条确认笔记里有没有覆盖。这是一种缺失性验证,需要先枚举、再排除,认知负担完全不同。论文作者试过换措辞、多轮投票、GEPA提示优化,这些手段只是移动了模型的“操作点”(更敏感或更谨慎),却没有真正创造出可用的检测能力。单笔记场景下,没有一种评审设计能比“完美笔记”更频繁地标记出遗漏笔记。
两条恢复路径,谁都不完美
作者提出的解法是重构任务:先让模型列出转录establish的事实清单,再逐条核对笔记有没有覆盖。这条路有两种走法。
一种是per-fact pipeline,把“列清单”和“逐条核对”拆成多次调用,检测率24.6%,假警报率2.7%,还能指名道姓说出哪条事实缺失、严重程度多高。另一种是GEPA优化过的单次调用提示词,一次调用就完成同样的事,检测率更高(36.9%,p=0.002),假警报率也更高(6.2%),但每笔记成本只有pipeline的十分之一。
一位参与研究的医师作者验证了70条判断样本,发现两条路径出现分歧时,医师十次全部支持pipeline的判断(p=0.002)。这暗示pipeline虽然召回率更低,判断质量可能更可信;单次调用胜在便宜和检出率高,代价是更容易误报。
不管选哪条路,都有一个共同盲区:如果被遗漏的事实在笔记别处被重述过一次,两种方法都会漏检。36.9%的检测率听起来是进步,但也意味着六成以上的真实遗漏依然会被漏掉。
真实世界的印证:错误率数字本身不可信
这份基准研究不是空对空的实验室游戏。同一团队的配套普查论文,对三款已部署的商用AI听录工具做了实地审计,用142次真实问诊生成565份笔记,共产生618条经对抗性验证的发现。177份笔记(31.3%)含至少一项已验证错误,排除虚构患者身份和日期这两类相对轻微的错误后,比例仍有24.8%。
更值得警惕的是一个方法论细节:在这次普查中,团队只改变审核指令,笔记、证据、模型、其他设置全部不变,结果候选错误被验证确认的比例,从9.3%一路变化到79.0%。换句话说,同一批笔记,换一套审核标准,就能让“错误率”这个数字相差近九倍。
- 风险.任何厂商或机构公开的AI笔记“错误率”“准确率”,如果不说明审核指令和标准,这个数字本身就可能被无意或有意地拉高或压低。
这也让论文开头引用的那句“已发表审计普遍发现遗漏是主导错误”多了一层自我怀疑。配套普查中,遗漏只占已验证发现的23.1%,换算成“每笔记至少含一项遗漏”的口径是15.4%,远低于以往审计报告里54%到86%的比例。作者自己承认,这个差距可能部分来自审计员的搜寻方式和接受标准不同——也就是说,此前行业里“AI笔记最常见的错误是遗漏”这个共识,本身也可能是一种审计方法造出来的假象,而不是客观现实。
查得出乱写的字,查不出该写却没写的字,这才是AI审核AI最尴尬的地方。
谁该盯紧这件事
对医院和诊所而言,这份研究提示一个具体动作:采购AI听录工具时,不能只看厂商给出的“错误率”,要问清楚这个数字用的是哪套审核指令、能不能复现。对签署笔记的临床医生来说,过敏史、用药剂量这类高风险遗漏,恰恰是当前最容易被审核系统漏检的类型,纸面上的“已通过AI质检”并不能替代人工复核。
这份工作还停在预印本阶段,未经同行评审,医师验证样本只有70条,第二位临床医生对严重度评分的盲评一致性也只是“误差在一档以内”。作为一个方法论警示,它已经足够扎实;作为可以直接套用的行业标准,还差一段距离。接下来最该盯的,是有没有第三方机构用统一的审核指令,重新核算主流AI听录产品的真实遗漏率。
