OpenAI 发布药物化学推理基准 MedChemBench。在取自 117 篇论文和专利的 99 道题中,GPT‑6.2 Astra 在 xhigh 推理设置下拿到 84.5% 的可得分。这个成绩说明模型能处理不少药化研究中的结构和证据题,但还不能说明,把下一批化合物交给模型筛选,实验室就能做出更好的选择。

MedChemBench 的高分,有多少来自选分子

在相同的 xhigh 设置下,公告给出的 GPT‑6 Astra、GPT‑6.1 Sol 和 GPT‑5.6 Sol 成绩分别为 83.3%、82.0% 和 58.2%。论文中的 GPT‑6 Astra 在 xhigh 下得 83.33%,调到 max 后得 83.83%。后者和公告的 84.5% 对应不同模型和设置,口径并不冲突。论文按题汇总并报告不确定性区间,同档位的小分差还要结合区间看,不能只按名次判断。

题库涉及 761 种不同分子结构,覆盖先导化合物筛选、构效关系预测、吸收分布代谢排泄、安全性、分子设计、实验测定结果解读和逆合成分析。结构重建和数值预测可按确定性规则计分,科学解释和化合物选择可按量表打分。预测值没猜中,也能按接近实测值的程度拿部分分。因此,总分不能换算成候选化合物的筛选成功率。

GPT‑6 Astra 在 xhigh 下拿到 95.4% 的结构重建可得分,化合物筛选和数值预测却分别只拿到约一半。题型和计分规则不同,不能把分差直接当成能力差距,但复核分子结构和决定合成哪个分子,显然需要看不同分项。

<svg viewBox='0 0 640 224' width='100%' height='224' role='img' aria-label='GPT‑6 Astra 在 xhigh 下结构重建获得 95.4%,筛选和数值预测各约一半'>
<rect x='0.5' y='0.5' width='639' height='223' rx='8' fill='#fbf9f4' stroke='#e2dccf'/>
<text x='28' y='40' font-size='20' font-weight='700' fill='#b25a3a'>同一模型的分项成绩</text>
<line x1='28' y1='55' x2='612' y2='55' stroke='#e2dccf'/>
<rect x='28' y='80' width='184' height='110' rx='6' fill='#fbf9f4' stroke='#e2dccf'/>
<rect x='228' y='80' width='184' height='110' rx='6' fill='#fbf9f4' stroke='#e2dccf'/>
<rect x='428' y='80' width='184' height='110' rx='6' fill='#fbf9f4' stroke='#e2dccf'/>
<text x='120' y='134' text-anchor='middle' font-size='36' font-weight='700' fill='#2c2822'>95.4%</text>
<text x='320' y='134' text-anchor='middle' font-size='34' font-weight='700' fill='#2c2822'>约一半</text>
<text x='520' y='134' text-anchor='middle' font-size='34' font-weight='700' fill='#2c2822'>约一半</text>
<text x='120' y='163' text-anchor='middle' font-size='14' fill='#7a7266'>结构重建</text>
<text x='320' y='163' text-anchor='middle' font-size='14' fill='#7a7266'>化合物筛选</text>
<text x='520' y='163' text-anchor='middle' font-size='14' fill='#7a7266'>数值预测</text>
</svg>

活性更强,未必值得优先推进

以癌症药物研究中的 PRMT5 抑制剂为例,化合物 23 在更低浓度下就能在细胞中抑制靶点,化合物 24 却更容易穿过细胞屏障,在肝酶实验中也分解得更慢。团队若卡在渗透性上,光按抑制活性排序,就可能把更能解决眼前问题的化合物排到后面。肝酶实验中的优势也不能直接当成体内表现。

Therapeutics Data Commons(TDC)的 ADMET 基准组提供 22 个数据集,按分子骨架划分训练集和测试集,再按终点选用分类或回归指标。它问的是某个固定终点能预测多准。MedChemBench 则把结构、已有结果和项目目标放回同一个历史案例,考察模型怎样解释并取舍。两种评测互补,但都没算过团队补做实验、处理矛盾结果或停止追踪一个化合物系列的代价。

题面扣下答案,训练数据仍是未知数

MedChemBench 在题面隐去后续实验结果,但论文和专利已经公开。加入 DOI 或专利标识符的对照没有带来明确分数变化,只能说明显式出处提示没有表现出明确影响。它排除不了模型训练时接触过材料,也不足以认定发生了泄漏。

外部专家参与设计评分规则,和第三方独立重跑是两件事。已见的第三方榜单沿用 OpenAI 的成绩;在所查公开材料中,尚未见独立重跑、训练数据审计或针对该基准的前瞻性湿实验验证。即使有人复现历史题得分,也还没有回答模型能否诊断意外结果,或帮团队少做一轮无效实验。

药企要算的是同等预算下的达标率

CACHE 提供了一个可参照的做法。参赛团队在实验前提名化合物,再由独立专家评估实验结果。这并未验证 MedChemBench,却说明检验研发收益可以从先锁定选择做起。

<svg viewBox='0 0 640 190' width='100%' height='190' role='img' aria-label='同等预算下,预先锁定候选与门槛,经独立实验后比较达标率'>
<rect x='0.5' y='0.5' width='639' height='189' rx='8' fill='#fbf9f4' stroke='#e2dccf'/>
<text x='28' y='40' font-size='20' font-weight='700' fill='#b25a3a'>同等预算下的验证</text>
<line x1='28' y1='55' x2='612' y2='55' stroke='#e2dccf'/>
<rect x='28' y='83' width='170' height='74' rx='6' fill='#fbf9f4' stroke='#e2dccf'/>
<rect x='235' y='83' width='170' height='74' rx='6' fill='#fbf9f4' stroke='#e2dccf'/>
<rect x='442' y='83' width='170' height='74' rx='6' fill='#fbf9f4' stroke='#b25a3a'/>
<line x1='205' y1='120' x2='222' y2='120' stroke='#7a7266'/>
<polygon points='222,116 229,120 222,124' fill='#7a7266'/>
<line x1='412' y1='120' x2='429' y2='120' stroke='#7a7266'/>
<polygon points='429,116 436,120 429,124' fill='#7a7266'/>
<text x='113' y='125' text-anchor='middle' font-size='16' fill='#2c2822'>锁定候选与门槛</text>
<text x='320' y='125' text-anchor='middle' font-size='16' fill='#2c2822'>独立实验</text>
<text x='527' y='125' text-anchor='middle' font-size='16' font-weight='700' fill='#b25a3a'>比较达标率</text>
</svg>

药化团队可以先试用模型核对结构、梳理实验证据,是否推进候选仍由实验确认。研发负责人若要决定是否扩大试点,可以拿未公开项目做对照,让模型辅助组和药化师单独决策组在同等预算下选样,事先锁定候选、达标标准和评估口径。人工复核也要计入成本,否则即便命中更多化合物,也说不清这笔钱花得是否划算。