达里奥·卡尔达拉与赫苏斯·费尔南德斯-比利亚维森西奥在工作论文《Can Peer Review Survive AI-Generated Text?》中建议,期刊用Pangram等工具筛查投稿和审稿意见。两人担心,AI让批量投稿和代写审稿变得更容易,编辑却要花更多时间核查,最终连扎实的论文也更难得到公正评价。检测器可以提示编辑从哪里查起,却不能鉴定谁真正读过论文、作出了判断。

25份报告测的是文本处理,不是代审率

两位作者自己也用大模型推敲论证、改善表达。他们划的界线是谁做了判断:校对不妨碍审稿人独立评估;如果整份意见都由模型生成,编辑自己运行同样的提示词就能得到,没必要等审稿人交回一份。

25份报告测出改写标记,谁做了审稿判断仍未知
25份报告测出改写标记,谁做了审稿判断仍未知

实验比较了25份报告在校对、轻度编辑、实质改写和重新生成后的表现。前两种在测试中未触发AI生成标记,后两种会。论文节选称样本来自《Nature Communications》公开的真实审稿报告;作者公告的二手摘要则称样本是生成式AI普及前的经济学报告。两种说法尚未核对一致,提示词、检测器版本、阈值和逐份结果也未核实。

<svg viewBox='0 0 720 204' width='100%' height='204' role='img' aria-label='检测结果与学术判断证据的区别'>
<rect x='1' y='1' width='718' height='202' rx='8' fill='#fbf9f4' stroke='#e2dccf'/>
<text x='30' y='42' fill='#b25a3a' font-size='20' font-weight='700'>检测分数的证据边界</text>
<line x1='30' y1='58' x2='690' y2='58' stroke='#e2dccf'/>
<rect x='30' y='80' width='316' height='94' rx='6' fill='#ffffff' stroke='#e2dccf'/>
<rect x='374' y='80' width='316' height='94' rx='6' fill='#ffffff' stroke='#e2dccf'/>
<text x='54' y='114' fill='#2c2822' font-size='17' font-weight='700'>工具给出的线索</text>
<text x='54' y='146' fill='#7a7266' font-size='15'>文本被标记的占比</text>
<text x='398' y='114' fill='#2c2822' font-size='17' font-weight='700'>编辑须另行查证</text>
<text x='398' y='146' fill='#7a7266' font-size='15'>谁作出了学术判断</text>
</svg>

检测分数不能换算成违规概率

一项Pangram 4.1基准测试在781,981个英语FineWeb样本中录得70个误报。这不是期刊审稿误报率,也不能说明工具会怎样判断经翻译或混合编辑的报告。即使标记准确,百分比也只描述被标记的文本,不能换算成审稿人把判断交给AI的概率。

英语网页基准录得70个误报,期刊审稿误报率仍未知(示意图)
英语网页基准录得70个误报,期刊审稿误报率仍未知(示意图)

一项覆盖四个AI会议的研究估计,6.5%至16.9%的审稿文本曾被模型实质修改或生成;《Organization Science》编辑工作组则称,近期超过30%的审稿报告有某种AI使用迹象。两者口径不同,都不能用来估算经济学审稿的代写率。相比揣测有多少人代审,一项对超过1,000篇已发表经济学论文的实验揭示了更具体的风险:四种模型中有三种会给署名被归为知名经济学家或西方精英机构的论文打出更高分。它测到的是模型的评分偏差,并非现实审稿人的行为。

允许润色,不等于允许上传稿件

美国经济学会旗下AER和AEJ: Macroeconomics要求审稿人独立阅读和判断,在给编辑的附信中披露AI用途,并确保所用工具不会拿材料训练模型。Elsevier允许用私人AI工具润色自行撰写的意见或查找背景文献,但不得上传稿件或其片段,也不得代评;除基础拼写和语法检查外,须在给作者的意见中说明工具和用途。Nature Portfolio同样禁止向生成式AI工具上传稿件,允许辅助整理和澄清意见,但不允许委托评审,并要求在报告中披露。

润色获准也须核对稿件保密和用途披露要求
润色获准也须核对稿件保密和用途披露要求

《Journal of Finance》允许AI辅助起草、编辑和查找参考文献,由审稿人核查事实;《Review of Finance》允许辅助用途,却明令禁止模型替代评估、解释或推荐。Science Partner Journal有禁止AI生成或撰写评审的规定,但不能据此推定《Science》旗舰刊的现行政策。类似的检测分数,在不同期刊可能对应不同的披露和保密义务。

从检测标记到拒稿,中间还要有复核

论文节选明确反对仅凭标记拒稿,但主张加强核查,并可在发现首个实质错误时拒稿。这与公开总结所说的无需自动拒稿并不矛盾,却多了一层建议:让标记改变编辑发现错误后是否继续审读。实验没有验证,文本标记能否预测分析中还有多少未发现的错误。

检测标记提示编辑从引文、表格和研究设定查起(示意图)
检测标记提示编辑从引文、表格和研究设定查起(示意图)

处理疑似代审时,编辑能先核对不存在的引文、被误读的表格、与论文设定相冲突的批评,再按刊规核实工具、材料上传和披露情况。如果可疑意见左右了决定,就应请另一位审稿人独立复核,并给作者指出具体错误的机会。

<svg viewBox='0 0 720 186' width='100%' height='186' role='img' aria-label='编辑从检测标记到复核决定的流程'>
<rect x='1' y='1' width='718' height='184' rx='8' fill='#fbf9f4' stroke='#e2dccf'/>
<text x='30' y='42' fill='#b25a3a' font-size='20' font-weight='700'>疑似代审的复核路径</text>
<line x1='30' y1='58' x2='690' y2='58' stroke='#e2dccf'/>
<rect x='30' y='84' width='144' height='72' rx='6' fill='#ffffff' stroke='#e2dccf'/>
<rect x='202' y='84' width='144' height='72' rx='6' fill='#ffffff' stroke='#e2dccf'/>
<rect x='374' y='84' width='144' height='72' rx='6' fill='#ffffff' stroke='#e2dccf'/>
<rect x='546' y='84' width='144' height='72' rx='6' fill='#ffffff' stroke='#e2dccf'/>
<text x='102' y='125' text-anchor='middle' fill='#2c2822' font-size='15'>收到检测标记</text>
<text x='274' y='125' text-anchor='middle' fill='#2c2822' font-size='15'>核对报告内容</text>
<text x='446' y='125' text-anchor='middle' fill='#2c2822' font-size='15'>查刊规与披露</text>
<text x='618' y='125' text-anchor='middle' fill='#2c2822' font-size='15'>必要时另审</text>
<polygon points='184,115 192,120 184,125' fill='#7a7266'/>
<polygon points='356,115 364,120 356,125' fill='#7a7266'/>
<polygon points='528,115 536,120 528,125' fill='#7a7266'/>
</svg>

期刊若要把检测纳入常规流程,先要回答一个可以检验的问题:在自己的真实审稿语料里,哪些报告会被误标,复核又要花多少时间。否则,原本想节省的审稿工时,可能转到了编辑和申诉者身上。