Box 接入 Nvidia Nemotron 发布 Box Context Retrieval，宣称省 90% Token

2026年11月5日，企业云存储厂商 Box 在开发者大会上宣布将英伟达的 Nemotron 嵌入系统塞进产品核心，推出面向智能体的检索系统 Box Context Retrieval（部分外媒在报道中误写成了 Box Content Retrieval）。英伟达生成式 AI 软件副总裁 Kari Briski 给出了三个极其抓眼的数字：问答速度提升4倍、Token消耗降低90%，以及外媒口中的“减少20%错误”。不过把官方通稿和底层架构拆开看，这并不是一场单纯靠换模型实现的性能奇迹，而是数据源厂商用实时权限控制向外部向量数据库发起的一次截胡。

先把时间线和产品边界理清。11月5日当天真正向 Enterprise Advanced 客户开放的，其实是 Box AI 里的 Nemotron 生成模型（从 Nemotron 3 Ultra 起步）；而这套真正重头的 Box Context Retrieval 检索系统，要等到 2027年初才会向同一批客户正式推出（GA），官方目前既没给具体上线日期，也没披露按查询、Token 还是索引 GB 计费的价格表。

省90% Token与少错20%的账本怎么算

公关叙事里最容易让人产生幻觉的就是那三个百分比。

外媒报道里写的“减少20%回答错误”，在 Box 官方公告里的真实口径是 Recall@5搜索准确率提升20%。做过搜索的人都知道，前5条召回结果的准确率提升，不等于大模型最终生成答案的错误率能同比例下降。至于那句诱人的省下 90% Token，技术逻辑其实很朴素。Box CEO Aaron Levie 说得很直白，以前智能体得通读整篇长文档，现在系统通过嵌入模型预先切分，只把与任务最相关的文档切片（chunks）发回去。从喂整本合同变成喂几个段落，Token 消耗自然断崖式下跌，但这属于 RAG 架构切分带来的红利，而且官方通稿把“快4倍”和“省90%”定性为潜在性能收益，压根没披露对比基线、测试语料库、查询集或硬件环境。

支撑这套切片检索的底层引擎，是英伟达在2026年7月16日发布的 Nemotron 3 Embed 开源权重模型。头部大模型实验室过去几年把精力全砸在生成模型上，对数据预处理用的嵌入模型并不上心，英伟达趁机捡漏。在7月15日的多语言 RTEB 榜单快照里，其主力模型 Nemotron-3-Embed-8B-BF16 拿下了第一名，支持34种语言、评测序列长度 4,096 Token，在16项公开 RTEB 任务上的平均 nDCG@10 得分为 78.46（MMTEB Retrieval 得分 75.45，ViDoRe V3 text 得分 60.60）；同系列轻量版 Nemotron-3-Embed-1B-BF16 得分为 72.38，而更早期的 llama-nemotron-embed-vl-1b-v2 只有 61.98。靠着概念映射能力，Box 称律师用它找判例时，哪怕换了措辞甚至跨语言也能捞出相关条款。

但跑分第一只是入场券。各家嵌入模型厂商的榜单口径本就各吹各的调：英伟达算的是16项公开 RTEB 任务，而竞争对手 Voyage 在2026年1月15日发布 Voyage 4 时评估了29个 RTEB 数据集，宣称 voyage-4-large 平均检索质量比支持超100种语言及图文混合的 Cohere Embed v4 高出 8.20%。单看模型能力，企业完全可以去下载免费的 Nemotron 权重，或者买 Voyage 的 API，为什么非要等 Box 明年打包好的接口？

开源模型免费，为什么企业还得买Box的账

我更在意的是 Aaron Levie 随口提的那句“把大约五项不同技术塞进一个简单 API”。这里面真正卡住企业脖子的，根本不是嵌入模型，而是 实时权限校验（ACL）。

企业把内部文档喂给智能体时，最大的噩梦是越权泄露。如果架构师把 Box 里的文件抽出来，用开源模型跑完向量化，存进外部独立的向量数据库，一旦某个员工在 Box 里被撤掉了某份高管薪酬表的查看权限，外部向量库的权限同步只要出现几分钟滞后，智能体就会照样把敏感切片捞出来喂给大模型。

开源模型解决的是找得准不准，原生权限解决的是敢不敢上线。

Box Context Retrieval 的杀手锏，是在每次查询发生时直接检查请求者的实时Box权限，根本不需要往外部同步 ACL。你去对比一下微软的竞品架构，就能看清这道门槛有多高：

看明白这张表，就能读懂微软的纠结：要么把 SharePoint 数据抽出来建索引，忍受预览版 API 的 ACL 同步折腾；要么用远程 SharePoint 模式保住原生权限，但得接受每用户每小时 200 次请求、每次最多 25 条结果的紧箍咒，根本扛不住高频智能体的并发轰炸。而像 Glean 这类企业搜索独角兽，底层同样极度依赖连接器的同步效率。

数据源筑墙，独立向量库迎考

这事往深里看，很像当年云计算厂商把开源数据库包装成托管服务、顺手收走安全与运维买路钱的旧戏码。司马迁写《史记·货殖列传》讲过一句大白话，“天下熙熙，皆为利来”。英伟达开源高分嵌入模型，图的是把企业数据预处理管线绑在自己的软件栈和算力上；Box 把开源模型请进门，图的是把原本流向外部向量数据库的预算截留在自己锅里。

更狠的一步棋在接口上。Box Context Retrieval 直接支持标准 Box REST API 和 MCP服务器，能无缝插进 LangChain、LlamaIndex 和 Semantic Kernel。

当存放原始文档的云存储厂商，自己内置了榜首级的嵌入模型、绑死了实时权限校验，还通过 MCP 协议直接向智能体吐出切好的数据块时，Pinecone、Weaviate 这类独立向量数据库和第三方 RAG 管道商就面临釜底抽薪的威胁。如果企业的核心文档本来就躺在 Box 里，架构师还有什么理由再搭一套高危又费钱的外部 ETL 同步管线？

• 风险.Box 至今未公布这套 API 的具体计费标准，且市面上缺乏 Box、微软与 Glean 在同等并发负载下的第三方独立评测，企业切勿仅凭发布会的百分比就盲目锁死单一数据源。

回到开头那组光鲜的数字。省下 90% Token 和提升 20% 召回率，不过是把企业引进门的招牌；等 2027 年初系统正式上线，企业架构师真正要算的账，是为了买这份不越权的实时安全感，到底要向数据源交多少 API 过路费。