OCR系统看清了每一个字,却把荒谬的错误一路放行到业务系统深处。
Unsiloed与TypeSafe在2026年10月1日给出了它们的解法:由Unsiloed负责版面解析与字符提取,TypeSafe的jev-1.13.0则在下游充当质检员,以概率问答的形式拦截那些清晰印刷但明显错误的业务数据。官方用一张布满咖啡污渍的六行用例,展示了识别层与决策层的互补配合。但剥开表面的优雅串联,这个架构正把最脆弱的算术推理与事实核对,交给了一个官方明文警告存在严重缺陷的纯文本模型。
识别与语义分层:两道关卡防住两种错
传统智能文档处理长期被困在一个死角里:物理层面的文字识别率再高,也无法拦截源文件自带的笔误。多打一个零的处方、印刷工整的荒谬用量,在识别引擎眼里都是满分样本。
Unsiloed与TypeSafe提出的流水线将任务切成两半。Unsiloed提取结构化字段,同时给出两项打分:衡量数值识别精度的extraction_score,以及衡量页面定位准确率的grounding_score。在官方演示中,一张1200×1500像素的处方图片上,被咖啡污渍遮挡的西替利嗪行,其定位置信度为0.76,抽取置信度为0.74。这触发了低于0.90的人工复核阈值。
真正处理业务荒谬性的是下游的Jev。它不看原图,仅接收结构化文本与业务背景,对布洛芬一日三次、每次10片的离谱指令给出0.04的Noul概率判定。Noul返回的是0到1之间的真实概率分布,并非模型自信度,衍生置信度依据abs(2*p - 1)换算,这让0.30至0.70区间直接落入人工复核漏斗。
两套逻辑交叉互锁:字迹模糊由Unsiloed卡住,用量反常由Jev揪出。
88分基准背后的脱节:排版高分不等于业务正确
Unsiloed在宣传中常拿基准跑分作为技术护城河。在2026年5月19日的olmocr==0.4.27基准测试中,Unsiloed拿下了88.0±1.0的高分,把拿下48.7±0.9的Azure Document Intelligence预建布局和40.2±0.9的Amazon Textract甩在身后。
| 评估系统 / 模型 | 基准测试与版本 | 得分表现 | 架构定位与测试范围 |
|---|---|---|---|
| Unsiloed | olmocr==0.4.27 | 88.0±1.0 | 版面与复杂排版文字还原 |
| Azure Document Intelligence | 预建布局基准 | 48.7±0.9 | 云厂商通用文档OCR流水线 |
| Amazon Textract | 预建布局基准 | 40.2±0.9 | 云厂商通用文档分析服务 |
| TypeSafe Jev 1.13 | 理赔验证 (400项) | 97.5% 准确率 | Vals AI独立结构化问答评测 |
| TypeSafe Jev 1.13 | LegalBench 切片 | 12个参评系统中垫底 | 复杂语义法律逻辑推理 |
这张跑分表很容易给采购决策者造成错觉。olmocr衡量的是多栏混排、表格线条和字符转写的几何还原度,它代表版面没被拆散,并不等于文档内容的正确率达到了88%。
更棘手的断层发生在流水线交接处。Jev在下游做合理性判定时,完全剥离了像素信息。一旦Unsiloed发生合理化错读,例如将原本超标的30mg误识别成看似合规的10mg,Unsiloed给出的置信度可能高于0.90,而未见原图的Jev在接收到10mg后同样会给出极高的合理概率。
纯文本语义质检最大的软肋,是会被一个看起来合理的错字彻底蒙蔽。
- 风险.识别层与决策层的物理隔离,直接导致系统对合理化错读失去免疫力,高置信度误判会直接跳过人工复核通道。
算术硬伤与法律垫底:质检员自身的可靠性危机
将处方审核完全押在Jev 1.13身上,暴露出方案设计与底层能力的内在冲突。
Vals AI在2026年10月6日发布的独立评测展现了Jev割裂的两面:在400项理赔验证任务里,Jev跑出了97.5%的准确率;但在LegalBench评测切片中,面对严苛的法律逻辑判断,Jev在12个参评系统中位列倒数第一。
TypeSafe官方文档在2026年10月2日更新的限制说明更为直接:Jev 1.13存在显著的模型锯齿现象,其算术运算、计数与日期对比不可靠,极易受到无关上下文与选项排列顺序的干扰。官方明确建议,涉及数值计算与时间逻辑的校验,应当在业务代码中硬编码完成,不能交由模型自由裁量。
官方演示选择用处方剂量作为典型场景,恰恰踩在了算术与计数这个模型最薄弱的环节上。单日最大摄入量计算、疗程天数推导、单位换算,没有一项脱离得了基础数学。
Jev在工程上的吸引力主要来自成本控制。以每10亿输入Token收费42美元计算,处方演示中处理包含6个问题的调用消耗1812个Token,折合每份文档仅增加0.000076美元,处理10万份文档的Jev附加成本仅为7.61美元。但这种廉价的概率过滤,绝不能被当作替代确定性风控的免审凭证。
- 建议.企业IT架构师在采用双模型文档管线时,必须在Jev等概率层之外保留确定性规则引擎,剂量阈值与日期比较一律硬编码拦截,切忌用大模型概率替代算术校验。
