做文档解析服务的商业厂商自己下场搭了个擂台，还公布了一份自己排第二的成绩单。
商业文档解析服务商 Datalab 发布了开源评测基准 OmniParseBench，用来自 2,343 份文档、2,937 页的 16,288 个单元测试，给市面上的解析器重新排座次。在其公布的基准榜单中，Gemini 3.8 Flash 以 92.9 分位列第一，Datalab 自家的 accurate 模型以 92.7 分位列第二，两者差距仅仅 0.2 个百分点，前三名之间的最大差距也只有 1.3 分。Datalab 很大度地承认自己卖产品，不争第一，甚至主动标出测试集构建用了参评大模型辅助。但这绝非一场技术公益，而是一场争夺文档解析度量衡话语权的精准卡位。
避开大模型裁判，却设了计分暗门
文档解析是当下大模型检索增强生成（RAG）和智能体工作流落地中最脏、最重的脏活。过去的评测体系早已千疮百孔：AllenAI 的 olmOCR-bench 因测试集固化，头部模型靠过度拟合特定格式就能刷出高分；而 LlamaIndex 的 ParseBench 塞进了表格、图表、忠实度等 5 种异构指标，由于缺少统一量纲，最终分数根本无法合理解释。
Datalab 选择另起炉灶。OmniParseBench 抛弃了用大模型当裁判（LLM-as-a-judge）的做法，全盘改用无网络的二元单元测试（Pass/Fail）。它把解析拆解为五种极简测试类型：文本存在与否、前后阅读顺序、单行重复次数、表格单元格的行列拓扑关联，以及文本块属于段落还是标题。数字必须逐位一致，公式则通过渲染后的代码进行等效校验。
但这种貌似客观的规则下藏着精巧的裁量口径。评测判定被分成 pass、fail、unsupported 和 error 四种状态。如果模型漏了内容，会被直接判为 fail；但如果厂商在配置中显式声明自己不支持某项能力（unsupported），或者评分工具自身出现崩溃报错（error），这些项就会被直接移出分母，完全不参与最终得分的折算。
这直接导致了排名的失真。老牌开源 OCR 引擎 Tesseract 因为天生不具备版面（layout）结构化抽取能力，该大项直接被视作 unsupported，导致整体总分（headline）显示为 none，在榜单上实际上等于直接出局，其文本分仅有 17.6、表格更是惨淡的 0.0。输出维度越不全的工具，反而可能通过主动放弃弱项，换取局部指标的虚高。
规则制定者的精明，往往不在于如何加分，而在于将什么剔除出分母。
92 种语言背后的样本水准与出题罗生门
营销文案中最亮眼的说辞往往最经不起推敲。OmniParseBench 声称涵盖 92 种语言，但在全部 16,288 个测试项中，英语独占了 10,089 个测试项（覆盖 1,612 份文档）。剩下的 91 种语言瓜分仅存的 1,931 个测试项与 321 份文档。
更致命的是数据分布的长尾断层：多达 32 种语言仅有一份文档作为测试支撑。在统计学上，单一样本根本不具备任何置信度，任何系统在这些语言上的分数波动都更像是掷骰子。此外，基准目前完全没有提供置信区间，测试用例又大量聚集在有限文档内，存在极强的样本依赖性。榜单前三名之间 0.2 到 1.3 分的微小差距，在统计学检验中完全无法证明任何实质性的工程优劣。
更为吊诡的是其测试集构建过程中的口径分裂。Datalab 在博客与榜单标注中大方承认，第一名的 Gemini 3.8 Flash 与 Claude Sonnet 5.5 参与了部分测试题目的生成或验证；然而，在其开源代码仓库的说明文档里，却白纸黑字写着未采用任何参评模型来确立答案或标注标签。究竟是谁在出题，成了一出各执一词的罗生门。重度依赖公开学术标记和既有基准的方案，不仅难以自证出题模型的公正性，更难以摆脱模型预训练阶段的数据污染嫌疑。
是版面还原，还是工作流消费？
这场评测之争的本质，是文档解析两种技术哲学的正面对撞。
Datalab 坚守确定性的版面还原，认为单字、单元格和版面类别的离散匹配才算硬功夫。他们甚至公开拿竞品开刀：其实验显示，将一个 650M 参数的 Surya 模型进行仅仅 70 步强化学习（RL），在 LlamaIndex 的 ParseBench 上得分就能从 78.39 跃升至 82.00，但实际 OCR 识别能力几乎毫无长进，以此抨击对手只是在盲目奖励格式契合度。
而 LlamaIndex 等对手则代表了智能体时代的实用主义：解析器抽取出的内容不是挂在墙上看的，而是要灌进向量库和下游大模型进行推理消费的。即使一个单元格没有完全对齐原本的坐标，只要核心实体关系和图表语义没有丢失，在整个 Agent 工作流里就是有效输出。Datalab 剔除大量共识题的做法，在对手眼里不过是在刻意挑选符合自己解析器特性的挑战集。
- 风险.企业在技术选型时切忌迷信大一统榜单的总体分。如果直接套用排名前列的方案，极易在生僻语种、多栏排版混排等真实非标文档场景中全面踩坑。
对于真正的企业架构师来说，OmniParseBench 最大的价值并不是看谁拿了第一，而是它开源的代码允许任何人按标签（tag）横切切片。抛弃那个被均值抚平的总榜，挑出属于你自己业务形态的 50 页财务报表或外语合同跑一次本地测试，往往比看商业厂商搭建的排行榜更真实。