2026-10-16 — views
NVIDIAとAI4Bharat、2.8兆トークンのIndicデータセットとオープンパイプラインを公開
読む理由 このリリースは、大規模で監査可能な合成コーパスと、その作成に使用された再利用可能なツールを提供することで、インド言語における深刻なデータの不足に対処します。
NVIDIAとAI4Bharatは、22言語に対応する2.8兆トークンのIndic前訓練コーパスと、GPU加速されたオープンなデータ生成パイプラインをリリースしました。
大規模なIndicコーパスのリリース
NVIDIAとAI4Bharatは、22のインド言語にわたって約2.8兆トークンを含む前訓練コーパス「Nemotron-pretraining-Indic-v1」を発表しました。IITマドラスとの共同開発により、2011年の国勢調査によると約12億人の市民をカバーする、インド人の97%にとって最初の言語を対象としています。このコーパスは、モデル構築者にとって重要な新リソースを提供することで、インド言語技術における大きなデータの欠如に対処することを目的としています。これには、数学、コード、質問応答コンテンツなど、技術的な概念を説明し問題を解決するのを助けるためにインド言語に翻訳された、厳選された英語資料の幅広い混合が含まれています。
オープンなデータ生成パイプライン
データとともに、チームはGPU加速されたオープンなデータ生成パイプラインを公開しています。このパイプラインは、プロンプト、大規模言語モデルのワークフロー、品質チェックを含む完全な生成レシピを捉えており、開発者が独自のソース資料に適応できるようにしています。ワークフローはNeMo Data Designerを使用して、翻訳、品質評価、ターゲット修理を実行します。コーパス内のすべてのレコードは厳選されたソース文書に遡ることができ、合成テキストが現実の情報に基づいていることを保証し、完全な出所監査を可能にします。
ワークフローの詳細とトークン数
コーパスには、Gemma-4トークナイザーを使用してカウントされた2,601.0億のネイティブスクリプトトークンと224.6億のローマ字化トークンが含まれています。データは34の言語スクリプト構成をカバーしています。ベンガル語、ヒンディー語、タミル語など12の言語では、ワークフローには英語文書の翻訳、多次元品質指標に触発されたルーブリックを使用して品質を評価し、低スコアの出力を修理することが含まれます。100点満点中少なくとも75点以上のスコアを持つ出力のみが保持されます。これらの承認された翻訳のサブセットは、ローマ字データを作成するためにラテン文字に変換されます。この2段階のアプローチは、直接生成よりも幻覚が少なく、残留英語が少ないことがわかりました。
サンスクリット語やサンタリ語など残りの10言語では、チームはIndic Translateを使用して文書レベルの翻訳を行います。Gemma-4-31B-itはこれらの翻訳を評価します。サンタリ語の長い文書では、重なり合うウィンドウで翻訳され、再構築されます。このワークフローは、フィードバックに基づく書き直しなしで、ネイティブスクリプトデータのみを生成します。コーパスは、ローカルな知識と文化的文脈にとって不可欠な、自然に作成されたIndicテキストも補完しています。Nemotron 3.5 Super VLの前訓練では、以前にこのコーパスのサブセットから100億のIndicトークンが追加され、モデル改善におけるこのデータの有用性が実証されました。
実装ノート
開発者は、特定の言語ニーズに合わせて翻訳と品質評価パイプラインを監査し、適応するために、提供されたNeMo Data Designerワークフローを利用すべきです。2.8兆トークンのコーパスを直接前訓練に使用するか、オープンなプロンプトと修理ロジックを新しいソース文書に適用して、追加の合成データを生成することができます。