英国皮肤科医生 Magnus Lynch 最近公布了一组反直觉的基准测试结果:在 200 例经病理活检证实的皮肤病变样本中,十年前由 Google 发布的经典卷积神经网络 Inception v3,首选确诊率达到 62.5%(125/200),显著超越了当下的前沿大多模态模型 GPT-6 Astra 的 42% 与 Claude Fable 5.1 的 42.5%。
如果仅看分类准确率,这似乎是一出小模型逆袭千亿大模型的经典戏码。但如果把视角切换到真实的急诊分诊台,这个结论会立刻发生危险的倒转。
62.5% 对 42%:专精分类与通识推理的代差
这项测试从 2025 年发布的 MILK10k 公开数据集中抽取了 200 例经过组织病理学确诊的皮损样本。样本由两部分构成:100 例必须进行临床干预的恶性或癌前病变(包括 30 例恶性黑色素瘤、25 例基底细胞癌、25 例鳞状细胞癌及 20 例日光性角化病),以及 100 例理论上可以安全放行的良性病变(50 例良性痣与 50 例脂溢性角化病)。由于所有良性样本此前同样被医生切除活检,意味着它们在肉眼下本就极具迷惑性。
每个病例均配有一张临床特写与一张皮肤镜放大图像。Inception v3 在前两个诊断选项(Top-2)的命中率达到 86.5%(173/200),而 GPT-6 Astra 与 Claude Fable 5.1 分别停留在 67% 与 69%。尤其在致死率极高的恶性黑色素瘤单项上,Inception v3 首选命中 13 例,同样高于两个大模型的 8 例与 11 例。
但在漂亮的准确率之下,隐藏着两类截然不同的模型缺陷。大模型表现出强烈的诊断偏好:GPT-6 Astra 将 75 例病变直接判定为基底细胞癌(实际仅 25 例),Claude Fable 5.1 则将 53 个样本归为日光性角化病。通用大模型并未完全读懂皮肤镜下的微观色素网络,而是依靠概率分布做出粗糙分类。
致命的分诊陷阱:准确率与安全性的背离
医学计算机辅助诊断的核心目标不是做多选题,而是防止恶性肿瘤被漏诊。当引入分诊放行规则时,数据出现了一次灾难性反转。
在默认分类阈值下,Inception v3 错误放行了 18 例恶性黑色素瘤,危险病变留存敏感度仅有 77%。在肿瘤分诊中,让六成黑色素瘤患者自行回家属于严重的医疗事故。反观两个通用多模态模型,GPT-6 Astra 仅放行了 3 例黑色素瘤,危险病变留存敏感度达到 97%;Claude Fable 5.1 也拦截了 96% 的危险病例。
大模型的高安全性并非源于更精细的图像识别,而是来自系统对齐策略中的防御性倾斜。大模型对良性样本的安全放行率极低,GPT-6 Astra 仅为 32%,Claude Fable 5.1 更是低至 22%。它们将绝大多数拿不准的病变一律打上需要干预的标签,在扮演病人提问模式下,甚至对近 99% 的病例一律建议就医。
准确率属于分类器,敏感度才决定病人的生死。
当测试者手动调整判定阈值,使 Inception v3 的敏感度对齐至 98% 到 99% 时,其漏诊的黑色素瘤数量确实能压制到 1 至 2 例。但公开数据并未给出该极端阈值下良性病变的放行特异度。
| 评估指标 | GPT-6 Astra | Claude Fable 5.1 | Inception v3 (默认阈值) | Inception v3 (对齐阈值) |
|---|---|---|---|---|
| 首选确诊数 (共200例) | 84 (42.0%) | 85 (42.5%) | 125 (62.5%) | 未披露 |
| 前二选项确诊数 | 134 (67.0%) | 138 (69.0%) | 173 (86.5%) | 未披露 |
| 黑色素瘤首选确诊 (共30例) | 8 | 11 | 13 | 未披露 |
| 恶性病变留存敏感度 (共100例) | 97% | 96% | 77% | 98%–99% |
| 黑色素瘤漏诊放行数 (共30例) | 3 | 4 | 18 (严重漏诊) | 1–2 |
专用微调对决通用提示词:被忽视的工程不平等
将 2015 年的 CNN 与当下的前沿大模型同台竞技,本身存在显著的设定不对称。
测试中所用的 Inception v3 绝非开箱即用的旧代码。作者使用单张 NVIDIA H100 GPU,在来自 ISIC Archive 的 68,011 张专业皮肤图像上进行了 20 个 epoch 的全层微调。这种高密度领域灌注,让卷积核深度锁定了皮肤镜特有的微观病理结构。两个通用多模态大模型面对的是没有任何微调微调、仅靠文字提示词驱动的零样本任务。
学术层面的潜在漏洞同样不容忽视。测试选取的 MILK10k 数据集存在已知的跨库重叠,包含 985 例与经典训练集 HAM10000 交叉的皮损,且缺乏严格验证的患者级物理隔离。在模型训练过程中,不能完全排除潜在的数据分布泄露可能。截至目前,这项测试仅是医生个人博客的基准报告,尚未经过同行评审。
边缘算力才是医疗辅助的真实防线
即便存在诸多局限,这项实验依然刺破了当下医疗 AI 的通用大模型泡沫。
部署在云端的大多模态模型面临推理成本居高不下与敏感患者影像外传的双重阻碍。而经过针对性微调的 Inception v3 体积足够紧凑,已经能够借助 WebGPU 技术直接在普通智能手机的浏览器内离线运行,无需上传任何数据即可完成毫秒级计算。
- 结论.试图用千亿参数的通用多模态大模型解决一切高精细医学视觉任务并不现实,垂直小模型的算力性价比与微观特征捕获能力在特定专科依然稳固。
- 风险.边缘端专用小模型若缺乏严谨的临床阈值标定与动态校准,极易在追求高分类正确率时引发致命漏诊。
通用大模型擅长充当具备免责防线的分诊分流网,而真正需要看清细微病灶的切片战场,终究属于经过严苛微调、带阈值约束的端侧专用系统。盲目采购昂贵的多模态 API,远不如把有限的医疗数据资产沉淀在受控的小模型参数里实在。
