1982年,统计学家A. P. Dawid在《美国统计协会杂志》(JASA)发表了一篇只有六页的论文《The Well-Calibrated Bayesian》。他证明了一个听起来很安慰人的结论:只要预测者遵循贝叶斯连贯性原则、按顺序给出概率预测,他就会在自己的概率模型里"必然"相信自己是校准良好的——报30%概率下雨的那些日子,长期来看大约真有30%下雨。

但这篇论文真正的分量不在这句安慰话,而在于它捅破了一个窟窿:这种"必然校准"只在预测者自己的模型内部成立,现实世界完全可能让它落空。原文写到定理即将登场时,作者特意提醒读者,这个结果对连贯性理论本身有"破坏性含义"——论文摘录恰好停在这句话之后,后面四十年的学界接力,才把这句话真正讲完。

一个气象学问题,变成一条数学定理

校准这个概念,最早是气象预报员的日常麻烦。Dawid在论文里举的例子是丹佛的降水概率:"今天降水概率30%",或者气温可信区间"75%概率最高气温在63到67华氏度之间"。此前Murphy和Winkler的研究显示,有经验的预报员总体上校准良好,但这不代表他们的预报有用——一个永远只报长期降雨频率的懒人预报员,同样能做到校准良好,却没提供任何信息量。

Dawid把这个气象学经验问题,变成了一个严格的数学证明:用鞅差分收敛论证证明,只要预测者的判断服从概率公理,那么在他自己认定的那套概率分布下,预测值和实际结果的偏差会收敛到零。换句话说,一个连贯的预测者必然相信自己长期看会被校准。

校准良好,是"自认为",不是"真的是"

这个证明方式本身就是陷阱:它是个"内部"结论,只在预测者自己的概率模型下成立。如果模型本身有偏,现实数据完全可能落进那个被判定为概率为零的失准区间里——这跟统计学里"不该给真正可能发生的事赋值为0"的经典原则正好相冲突。

更微妙的一层张力在于:如果发现某个概率档位的历史表现和实际频率对不上,直觉上该调整以后的预测;但如果原始概率已经是基于全部历史信息算出的条件概率,那么"因为校准差就下调"其实是换了一套模型,而不是在同一个先验下做贝叶斯更新。这才是原文所说"对连贯性理论的破坏性含义"真正指向的地方。

连贯贝叶斯主义者不是不会错,而是错了也无法在自己的逻辑里承认。
校准悖论接力四十年 1982 Dawid证明 "必然校准" 1985 Oakes证明 无普适先验 1998 Foster-Vohra 随机化破局 今天 大模型 置信度校准

Oakes与Foster-Vohra:用十几年时间把窟窿堵上

Dawid把问题抛出后,学界花了十几年才接住。1985年,Oakes证明了一个更狠的结果:不存在任何确定性的贝叶斯先验或预测规则,能在所有可能的环境下都保持校准——对任何一套确定性预测系统,总能反过来构造出一个专门让它失准的数据生成过程。

这跟Dawid的结论并不矛盾,只是量词顺序换了位置:Dawid说"对每一个先验,校准概率是1";Oakes说"对每一个先验,都存在一个专门针对它的环境,让失准概率是1"。两句话可以同时为真,却很容易被误读成互相推翻。

真正破局的是1998年Foster与Vohra的证明:只要引入随机化,预测算法就能在任意结果序列下把渐近校准误差压到零,前提是自然界看不到预测者当次抽签的结果。他们还带出一个意外的连带效果——如果博弈中的参与者都根据校准预测做最优反应,群体的经验行动分布会收敛到相关均衡,而不必然是纳什均衡。代价也很直白:随机报出来的概率不再是预测者"真诚"的信念,校准由此变成一种工具主义式的过关手段,而不是贝叶斯连贯性原本想要守护的"真实信念"表达。

同一个人,两种"校准" 预测者自己的模型里 连贯性=服从概率公理 校准概率被算成1 失准概率被算成0 无法怀疑自己 真实的数据生成过程 Oakes:总能构造环境 专门让某套先验失准 那个"概率为0"的区间 现实里可能恰好发生
  • 风险.校准良好本身不能证明预测有用——永远报基础概率的预测者同样能"过关",Brier评分里reliability只是一部分,resolution和sharpness才是补上这个漏洞的另一半。

这条脉络今天正套在大模型头上

从气象预报走到博弈论的这条路,如今几乎原封不动套用在大模型置信度校准上。评价LLM"是否知道自己不知道"最常用的ECE等指标,本质上就是Dawid当年定义的经验校准曲线——把模型给出的置信度分档,再看每一档里实际答对的比例是否吻合。

后校准方法比如temperature scaling,做的事跟"因校准差就下调概率"是同一类操作:把模型的置信度往基础概率上拉,校准分数好看了,但模型对具体问题的区分能力可能被一并磨平。Dawid-Oakes-Foster/Vohra这条线四十年前就讲清楚了:校准可以靠随机化"骗"过任何环境,但那不等于模型真的更懂自己错在哪。对研究不确定性量化和幻觉检测的团队来说,这篇六页论文提醒的是同一件事——校准分数好看,不代表可以信。