2026-10-16 — views
NVIDIA 与 AI4Bharat 发布 2.8 万亿 Indic 令牌及开放流水线
为什么值得读 此次发布通过提供大规模、可审计的合成语料库及用于创建它的可重用工具，解决了印度语言中关键的数据稀缺问题。
NVIDIA 与 AI4Bharat 发布包含 2.8 万亿令牌的 Indic 预训练语料库及面向 22 种语言的开放 GPU 加速数据生成流水线，涵盖 97% 印度人口使用的语言，旨在解决数据稀缺问题。
大规模 Indic 语料库发布
NVIDIA 和 AI4Bharat 推出了 Nemotron-pretraining-Indic-v1，这是一个包含约 2.8 万亿令牌的预训练语料库，涵盖 22 种印度语言。该发布成果由与 IIT Madras 合作开发，旨在服务占印度人口 97% 的 97 种主要语言，根据 2011 年人口普查数据，这涵盖了近 12 亿公民。该语料库旨在通过为模型构建者提供大量新资源，解决印度语言技术中严重的数据赤字问题。它包含经过精心筛选的英文材料的广泛混合，如数学、代码和问题回答内容，这些内容被翻译成印度语言，以帮助模型解释技术概念并解决问题。
开放数据生成流水线
除了数据之外，团队还发布了一个开放的、GPU 加速的数据生成流水线。该流水线捕获了完整的生成配方，包括提示词、大型语言模型工作流程和质量检查，允许开发人员根据自己的源材料调整流程。该工作流程使用 NeMo Data Designer 运行翻译、质量评估和针对性修复。语料库中的每条记录都追溯到一个经过筛选的源文档，确保合成文本扎根于真实信息，并允许进行完整的溯源审计。
工作流程细节与令牌计数
该语料库包含 2,601.0 亿个原生脚本令牌和 224.6 亿个罗马化令牌，使用 Gemma-4 tokenizer 进行计数。数据涵盖 34 种语言-脚本配置。对于包括孟加拉语、印地语和泰米尔语在内的十二种语言，工作流程涉及翻译英文文档，使用受多维质量指标启用的标准进行质量评估，并修复低分输出。只有得分至少为 100 分中的 75 分的输出才会被保留。这些被接受的翻译的一个子集随后被转换为拉丁脚本，以创建罗马化数据。这种两步法被发现比直接生成产生的幻觉更少，残留的英语也更少。
对于剩下的十种语言，如梵语和桑塔利语，团队使用 Indic Translate 进行文档级翻译。Gemma-4-31B-it 随后评估这些翻译。对于桑塔利语中的较长文档，采用重叠窗口进行翻译并重建。此工作流程仅生成原生脚本数据，无需基于反馈的改写。该语料库还补充了自然撰写的 Indic 文本，这对于本地知识和文化背景仍然至关重要。Nemotron 3.5 Super VL 的继续预训练此前从该语料库的子集中添加了 100 亿个 Indic 令牌，证明了这些数据对模型改进的效用。
实务笔记
开发人员应利用提供的 NeMo Data Designer 工作流程来审计和调整翻译和质量评估流水线，以满足其特定语言需求。您可以直接使用 2.8 万亿令牌的语料库进行预训练，或者通过将开放提示词和修复逻辑应用于新的源文档来生成额外的合成数据。