NVIDIA 联合印度理工学院马德拉斯分校（IIT Madras）及旗下的 AI4Bharat 实验室，共同宣布推出名为 Nemotron-pretraining-Indic-v1 的预训练语料库。该语料库声称拥有约 2.8 万亿（2,825.6B）Token，覆盖印度宪法承认的全部 22 种官方语言及 34 种语言-文字组合，并附带一套端到端 GPU 加速数据生成流水线。
在近 12 亿以这 22 种语言为母语的印度人口面前，本土大模型研发常年卡在高质量原生数据的瓶颈上。此前开源界最拿得出手的是 AI4Bharat 自研的 Sangraha 语料库，总共约 2510 亿 Token，其中真正经过人工精选的高质量数据仅有 640 亿。NVIDIA 这次把规模直接拉高了一个数量级，表面看是用算力平推了非通用语种的“数据荒漠”；但穿透其技术骨架会发现，这并不是一份挖掘自印度本土社会的数字遗产，而是一场由顶级大模型主导的“英文语料翻版工程”。
2.8万亿背后的双轨生成与极端妥协
根据实测统计，这套 2.8 万亿 Token 的语料库在内部存在着极度悬殊的断层。按 Gemma-4 分词器计量，奥里亚语本土文字占了 320.1B，旁遮普语达到 262.6B；但宪法同等承认的博多语仅有 18.7B，梵语为 22.8B，孔卡尼语也只有 28.9B。语言体量的分配不均直接映射了工程处理上的双轨制分水岭。
NVIDIA 与 AI4Bharat 团队将源数据锁定在自身的 Nemotron-CC 英文网页子集，用大模型充当“翻译官”与“质检员”。但针对不同的语种，处理流水线完全走向了两条路：
对于印地语、孟加拉语等 12 种主流语种，管线调用 Gemma-4-31B-it 执行整篇文档翻译，再由同一个模型按 MQM 质检框架打分。低于 75 分的劣质文本会触发自动重写修复循环，仅在这一环节就抢救回 438.4B Token。
但轮到桑塔利语、曼尼普尔语等 10 种低资源语言时，这套自愈闭环立刻失效了。由于 Gemma-4 本身并不理解这些小语种，团队不得不换上 IIT Madras 孵化的 Bodhan-MT 模型执行初翻，再用 Gemma-4 强行打分，同时默认关闭了重写机制。遇到长文本，模型在桑塔利语上甚至无法维持上下文，只能靠“重叠窗口”分段切片；曼尼普尔语的窘境更甚，必须先翻译成孟加拉文字，再通过硬编码映射转换为本土的梅泰文。
- 风险.边缘语言在没有母语评估闭环、甚至要通过孟加拉文“二次转译”的情况下，机器翻译极易产生隐蔽的语义漂移与常识幻觉。
验证断层：10B切片能证明2.8T的价值吗？
在官方技术报告中，最引人瞩目的莫过于模型刷榜成绩。Nemotron 3.5 Super 在继续预训练（CPT）阶段加入了印度语数据后，多项基准出现大幅跃升：
| 评测基准 | 继续预训练前 | 混合预训练后 | 增幅与变化说明 |
|---|---|---|---|
| GSM8K（严苛数学推理） | 72.67 | 82.49 | +9.82% 推理提升明显 |
| ARC-Challenge（科学推理） | 84.17 | 92.83 | +8.66% 跨语言概念迁移生效 |
| 英文至印法语系（chrF++） | 35.43 | 47.47 | +12.04 点 翻译保真度强化 |
技术指标看似印证了海量语料的威力，但背后的训练细节藏着关键变量。Nemotron 3.5 Super 在这轮 100B 规模的继续预训练中，真正注入的印度语数据仅有 100 亿（10B）Token，占整体训练预算的 10%，只占这套 2.8T 语料库的 0.35%。
用千分之三的精选切片验证全盘数据，无法证明 2.8 万亿合成语料的整体成色。
这 10B 数据还是挑选出的人工自然文本与高质量合成文本的混合体。工业界心知肚明，大模型在继续预训练时“浅尝辄止”地喂入小规模优质语料，能快速激活跨语言对齐能力；但这绝不等于 2.8T 庞大体量的机器翻译副产物都具备同样的训练纯度。
更何况，整个合成过程的经济账极其高昂。为了让模型能理解拉丁字母拼写的印度日常用语，团队采用了两阶段罗马化策略，带来了额外的 1.5 倍 Token 开销。让 31B 级别的大模型全程参与翻译、仲裁和重写，需要海量的 GPU 算力支撑。中小机构哪怕拿到了开源脚本，也根本无力承担复现 2.8T 数据的电费与卡时账单。
英文底色的“数字翻译”与落地的真实鸿沟
将视野放宽到整个大模型生态，这套语料库最大的隐忧在于“文化折射”。
2.8 万亿 Token 本质上是 Nemotron-CC 英文网页的印语投影。它无疑能让模型用印地语解答微积分，或者用泰米尔语解释一段 Python 代码；但它无法提供南亚次大陆本土的乡土常识、社区口述历史与多元制度演变。所谓的解决多语言数据荒，在当下的工程实现里，成了用印法语系的外壳去包装西方的语料范式。
除了文化层面的偏颇，落地交付的节奏也透露出仓促。开源组件虽然已在 GitHub 以 data-designer-nemotron-indic-translation（版本 0.1.0 Alpha）亮相，但此前配套的 PyPI 包曾出现过 404 无法直接 pip 安装的尴尬。而在开源社区最关心的 Hugging Face 侧，官方文档依然标记着“Announced for release”，既缺乏独立的 Dataset Card，也没有敲定具体的开源商业授权协议。
- 建议.急需非通用语预训练的团队，目前应重点借鉴其基于 MQM 的文档级 LLM 质检过滤管线设计，而非坐等这套尚未完全明晰商用协议的 2.8T 巨型数据集。
对于主导实验室负责人 Mitesh Khapra 与 NVIDIA 而言，这一仗巩固了 NeMo 生态在非英语国家的基础设施地位。但对开发者来说，合成数据填得平字面上的规模鸿沟，却很难在短时间内填平数字世界里真实的文化荒漠。