2026 年 10 月 21 日,Cohere 正式推出企业级检索重排序模型 Rerank 5,包含面向高精度的 rerank-v5.0-pro 与面向高吞吐的 rerank-v5.0-fast 两个版本,均支持 100 种以上语言。这次更新的核心并非单纯推高跑分,而是直切检索增强生成(RAG)工程中最耗费算力与人力调优的两大痼疾:引入概率校准分数(Calibrated Scores)与段落级上下文聚焦(Context Focus)。
在以往的搜索流水线中,重排序模型返回的打分更像一个缺乏统计学意义的黑盒排名,工程师要么硬编码召回前几个文档,要么在不同的垂直数据上反复试凑过滤线。Rerank 5 试图终结这种工程上的猜谜游戏,同时允许系统在单次调用内只提取精准相关的文字片段,直接重构从粗排到大模型读取的整套工业链路。
终结玄学阈值:当重排序输出变成确定概率
任何搭建过生产级 RAG 系统的团队都熟悉这种困境:向量数据库与粗排模块通常会捞出一堆鱼龙混杂的文档,随后重排序模型给每篇文档输出一个分数。然而,上一代模型的 0.8 分往往不等于真实相关的概率;在法律文书上适用的截断线,换到医疗或技术手册上可能导致大面积漏检或噪音灌入。
Rerank 5 将 relevance_score 彻底进行了概率校准。这意味着如果系统输出 0.7,就代表该文档在统计上约有 70% 的概率对回答该查询有用。官方评测显示,在人类标注与 NIST TREC-DL 测试集上,新模型的期望校准误差(ECE)均控制在约 0.058。
在明确了分数的统计分布后,工程配置便有了固定基准。Cohere 官方建议直接将文档过滤门槛设为 Pro 0.50 与 Fast 0.45,作为文档更有可能有用的一致分界线。
概率校准的真正价值,是用统计学意义上的确定性,替换掉无数工程师手动调参的经验玄学。
在 API 定价上,Pro 版本为每百万 tokens 0.05 美元,Fast 版本为每百万 tokens 0.02 美元;针对合规与私有化需求的 Model Vault 专用部署实例,费用为每小时 4 美元或每月 2,500 美元。在单张 NVIDIA A100、批处理 96 篇文档、并发度 8 的测试环境下,处理 1,000-token 文档时,Fast 版本的吞吐量达到约 187 doc/s,是 Pro 版本的 2.9 倍,响应耗时快近 3 倍,为延迟敏感型应用提供了明确的权衡空间。
段落级上下文聚焦:打碎切块并压缩推理账单
除了打分校准,Rerank 5 带来的另一个关键变化是默认关闭的可选功能:Context Focus。
在常规架构中,文档入库必须经历切块(Chunking),这一步往往破坏了段落语义;如果不切块,哪怕万字长文里只有一句话与查询有关,整篇文档也会被作为上下文塞进下游大模型,造成严重的上下文污染并消耗巨额 Token 费用。Context Focus 允许在单次排序请求中直接返回高相关段落的字符偏移量(start 与 end 索引)以及置信度打分。
官方测试表明,削减 50% 召回上下文可保留 96% 问答质量;即便将上下文激进削减 75%,依然能保留 87% 的生成质量。对于高并发且重度依赖长上下文推理的问答产品而言,这意味着重排序阶段顺带完成了动态摘要与清洗,大模型的推理账单有望在这一步直接减半。
- 建议.对长文档型 RAG 项目,开启 Context Focus 并在调用下游大模型前依据字符偏移量剪裁文档,优先于在上游盲目调小切块尺寸。
4k 默认截断陷阱与自研跑分的审视
在看到能力提升的同时,开发者必须注意两个被官方营销话术淡化的工程边界。
首先是标称窗口与工程默认值的脱节。Cohere 宣传 Rerank 5 支持每个 query-document 对 32,768 tokens 的超长上下文,但在生产 API 的默认设定中,参数 max_tokens_per_doc 的缺省值实际上是 4,096 tokens。如果研发团队直接接入 API 而未在调用时显式覆写该参数,长文档中超过 4k 的后半段内容将在后台被静默截断,导致关键信息隐蔽丢失。
| 参数与测试维度 | 宣传口径 / 峰值指标 | 实际生产默认值 / 限制条件 |
|---|---|---|
| 单文档上下文窗口 | 32,768 tokens | 默认截断为 4,096 tokens(需显式传参) |
| 打分概率校准 | 整篇文档 ECE 约 0.058 | 段落级偏移量分数未获同等校准证实 |
| 核心跑分基准 | BRIGHT 得分 82.2 (RCP-nDCG@10) | 基于 LLM 裁判评估,非传统人工标注 |
| 适用任务形态 | 点对点事实型检索表现优异 | 宏观摘要、复杂表格与代码解析受限 |
其次是基准测试的评估口径。Cohere 宣称在 46 个测试数据集中,Pro 版本在 39 个上排名第一,并在 BRIGHT 基准上取得 82.2 分,比 Voyage Rerank 3 高 5.8 分,比上一代 Rerank 4 Pro 高 12.4 分。然而该核心分数的评估方法为自研的 RCP-nDCG@10,其裁判依赖大模型自动化打分,而非业界通常采用的人工基准标注。这意味着该指标无法直接与开源阵营的 BGE、Jina 等模型的公开排行榜进行同口径比对。
此外,虽然整篇文档维度的校准误差控制较好,但段落级(Context Focus spans)打分尚未被证实具备相同的概率校准精度。面对代码片段、复杂表单或需要通篇归纳的跨文档摘要场景,这种定位机制的可靠性仍打折扣。
- 提醒.使用 Rerank 5 处理长文本时,必须检查并配置 max_tokens_per_doc 参数,切忌依赖缺省值处理超长知识库。
面对专有领域的 Voyage AI 与开源社区不断迭代的基准压力,Cohere 凭借 Rerank 5 试图将重排序从一个单纯的排名插件,进化为兼具过滤裁判与上下文压缩器的关键节点。但技术落地终究要看真实业务的转化:在私有数据上,那个 0.50 的分界线能否经受住真实业务噪音的冲刷,才是决定企业是否愿意掏出真金白银的关键。
