巴西公司Dharma-AI自己发布了一份评测报告。专攻葡萄牙语的DharmaOCR拿到0.925分,比三个月后才发布的Mistral OCR4(0.798)高出13分,比Unlimited-OCR(0.7587)高出16分还多。
数字好看,但评测细则说明了另一件事:出题人和判分人是同一家公司。这份榜单能不能当真,得先看清楚它测了什么、怎么测的。
分数差在哪
三个模型跑的是同一套葡语文档基准,包含手写件和复杂扫描件。具体分差:
| 模型 | 得分 | 说明 |
|---|---|---|
| DharmaOCR | 0.925 | 葡语专项训练 |
| Mistral OCR4 | 0.798 | 更新版,通用多语 |
| Unlimited-OCR | 0.7587 | 更新版,通用多语 |
典型错例更能说明问题。巴西高考(ENEM)作文手写扫描件上,两个通用模型都认错了作曲家Chico Buarque的名字:
| 模型 | 错误类型 | 具体表现 |
|---|---|---|
| Mistral OCR4 | 人名误识 | "Chico Buarque"→"Chico Barque" |
| Unlimited-OCR | 人名误识 | "Chico Buarque"→"chico bique" |
| Mistral OCR4 | 文本退化 | 小字体文档输出与原文无关 |
Chico Buarque在巴西家喻户晓,模型认错这个名字,至少说明葡语专有名词在训练数据里没被喂够。但这只是两个错例,不足以证明数据量差距有多大,只能说明方向,不能证明幅度。
更麻烦的是文本退化。Mistral OCR4在小字体文档上,输出内容和原文对不上号,不是认错几个字,是顺着生成惯性往下编。识别错误还能纠正,退化输出连纠正的起点都没有。对合规审核、信息抽取这类下游流程,这是两种完全不同的风险等级。
优势从哪来
Dharma-AI给出的解释分两步。第一步监督微调(SFT),用不同来源的葡语文档校正词汇、句法和版面理解,能力全砸在葡语这一件事上。第二步DPO(直接偏好优化),让模型比较"完整输出"的好坏,减少在视觉模糊处顺势瞎编的倾向。
这个解释有一定道理。SFT逐字预测,一步偏就步步偏,这确实是退化常见的成因;DPO对整段输出打分,相当于多一道纠偏的闸门。但这是Dharma-AI自己给出的机制解释,没有独立实验验证这道闸门在其他语言、其他退化场景下同样有效。
Dharma-AI还提出参数分配的说法:一个只处理葡语的模型,参数都往一个方向使;要覆盖几十种语言的模型,参数被摊薄。专精模型在窄场景里占便宜,是常识。但"参数全部服务一个领域"这句话说得有点满——神经网络的参数叠加效应(superposition)早就说明,单个参数常常同时编码多种特征,能力分配没有这么整齐。
我的判断
问题不在训练思路,而在证明方式。这份评测从头到尾只有Dharma-AI一家参与:出题、跑分、写报告都是自己。没有第三方复现,没有换一套葡语数据集重跑,也没有交代三个模型在同等算力和推理成本下是否公平。
数据集规模多大、评分指标怎么定义、模型具体版本和推理配置是什么——报告都没交代。这些细节恰恰决定了分数的含金量。
对处理巴西葡语手写件、合规文档的团队,这份报告值得参考的部分很具体:小字体扫描件上的文本退化是真实的生产风险,选型时该测。真正该做的动作是,拿自己手头的扫描件,分别跑三个模型,盯着退化率而不只是识别准确率。
天下熙熙,皆为利来。一家靠专用模型吃饭的公司,把自己的长处讲得掷地有声,合情合理。但单一自建基准上的领先,撑不起"专用模型结构性优于通用模型"这么大的结论,读者自己动手复现一遍,才是该做的下一步。