2026-10-16 — views
NVIDIA 與 AI4Bharat 發布 2.8 兆 Indic 詞彙與開放管線
為什麼值得讀 此發布透過提供龐大、可審計的合成語料庫及可重複使用的創建工具，解決了印度語言中關鍵的數據匱乏問題。
NVIDIA 與 AI4Bharat 發布涵蓋 22 種語言的 2.8 兆詞彙 Indic 預訓練語料庫及開放 GPU 加速資料生成管線，由 IIT Madras 協作開發，旨在解決印度語言技術的數據匱乏問題。
龐大 Indic 語料庫發布
NVIDIA 與 AI4Bharat 推出了 Nemotron-pretraining-Indic-v1，這是一個包含約 2.8 兆詞彙、涵蓋 22 種印度語言的預訓練語料庫。此發布由 IIT Madras 協作開發，針對佔印度人口 97% 的首批語言，涵蓋了根據 2011 年人口普查數據約 12 億公民。該語料庫旨在通過提供大量新資源來解決印度語言技術中的顯著數據赤字，幫助模型構建者。它包含廣泛策劃的英文材料混合，如數學、程式碼和問答內容，並翻譯成印度語言，以幫助模型解釋技術概念並解決問題。
開放資料生成管線
與數據一同發布的，是一個開放、GPU 加速的資料生成管線。此管線捕捉了完整的生成配方，包括提示詞、大型語言模型工作流程和質量檢查，允許開發者根據自己的源材料調整流程。工作流程使用 NeMo Data Designer 來執行翻譯、質量評估和針對性修復。語料庫中的每條記錄都可追溯至策劃的源文檔，確保合成文本扎根於真實信息，並允許進行完整的來源審計。
工作流程細節與詞彙計數
語料庫包含 2,601.0 兆原生腳本詞彙和 224.6 兆羅馬化詞彙，使用 Gemma-4 tokenizer 計數。數據涵蓋 34 種語言-腳本配置。對於包括孟加拉語、印地語和泰米爾語在內的十二種語言，工作流程涉及翻譯英文文檔、使用受 Multidimensional Quality Metrics 啟發的標準進行質量評估，以及修復低分輸出。只有得分至少為 100 分中的 75 分的輸出才會被保留。然後將這些被接受的翻譯的子集轉換為拉丁腳本，以創建羅馬化數據。這種兩步方法被發現比直接生成產生了更少的幻覺和更少的殘留英文。
對於剩下的十種語言，如梵語和桑塔利語，團隊使用 Indic Translate 進行文檔級翻譯。Gemma-4-31B-it 然後評估這些翻譯。對於較長的桑塔利語文檔，會翻譯重疊的窗口並重建。此工作流程僅產生原生腳本數據，沒有基於反饋的重寫。語料庫還補充了自然撰寫的 Indic 文本，這對於本地知識和文化背景仍然至關重要。Nemotron 3.5 Super VL 的持續預訓練此前已從該語料庫的子集中添加了 100 億 Indic 詞彙，證明了此數據對模型改進的效用。
實戰筆記
開發人員應利用提供的 NeMo Data Designer 工作流程來審計和調整翻譯和質量評估管線，以滿足其特定語言需求。您可以直接使用 2.8 兆詞彙語料庫進行預訓練，或通過將開放提示詞和修復邏輯應用於新源文檔來生成額外的合成數據。