2026-10-16 — views
NVIDIA와 AI4Bharat, 2.8조 토큰의 인디언어 코퍼스 및 오픈 파이프라인 공개
읽어야 하는 이유 이번 공개는 방대하고 검증 가능한 합성 코퍼스와 이를 생성하는 데 사용된 재사용 가능한 도구를 제공하여 인도 언어의 심각한 데이터 부족 문제를 해결합니다.
NVIDIA와 AI4Bharat은 22개 언어를 위한 2.8조 토큰 규모의 인디언어 사전학습 코퍼스와 GPU 가속 데이터 생성 파이프라인을 공개했습니다.
방대한 인디언어 코퍼스 공개
NVIDIA와 AI4Bharat은 22개 인도 언어에 걸쳐 약 2.8조 토큰을 포함하는 Nemotron-pretraining-Indic-v1 사전학습 코퍼스를 도입했습니다. IIT Madras와의 협력을 통해 개발된 이번 릴리스는 2011년 인구 조사 기준 거의 12억 시민을 차지하는 97%의 인도인에게 주요 언어를 대상으로 합니다. 이 코퍼스는 모델 빌더에게 상당한 새로운 자원을 제공함으로써 인도 언어 기술의 심각한 데이터 부족 문제를 해결하도록 설계되었습니다. 여기에는 수학, 코드, 질문-답변 콘텐츠와 같이 선별된 영어 자료의 광범위한 혼합물이 포함되어 있으며, 이는 인도 언어로 번역되어 모델이 기술적 개념을 설명하고 문제를 해결하는 데 도움이 됩니다.
오픈 데이터 생성 파이프라인
데이터와 함께 팀은 오픈 GPU 가속 데이터 생성 파이프라인을 공개합니다. 이 파이프라인은 프롬프트, 대규모 언어 모델 워크플로우, 품질 검사 등 전체 생성 레시피를 캡처하여 개발자가 자신의 소스 자료에 프로세스를 적응시킬 수 있도록 합니다. 워크플로우는 NeMo Data Designer를 사용하여 번역, 품질 평가 및 대상 수리를 실행합니다. 코퍼스의 모든 레코드는 선별된 소스 문서로 거슬러 올라가며, 합성 텍스트가 실제 정보에 기반하도록 보장하고 완전한 출처 감사(Provenance auditing)를 가능하게 합니다.
워크플로우 세부 사항 및 토큰 수
코퍼스는 Gemma-4 토크나이저로 계산했을 때 2,601.0조 개의 네이티브 스크립트 토큰과 224.6조 개의 로마자 토큰을 포함합니다. 데이터는 34개 언어-스크립트 구성을 커버합니다. 벵골어, 힌디어, 타밀어를 포함한 12개 언어의 경우 워크플로우는 영어 문서 번역, Multidimensional Quality Metrics에서 영감을 받은 기준을 사용하여 품질 평가, 그리고 낮은 점수를 받은 출력의 수리로 구성됩니다. 100점 만점에 최소 75점 이상의 점수를 받은 출력만 유지됩니다. 이러한 승인된 번역의 하위 집합은 로마자 데이터를 생성하기 위해 라틴 문자로 변환됩니다. 이 두 단계 접근 방식은 직접 생성에 비해 환각(Hallucinations)이 적고 잔여 영어가 덜 생성되는 것으로 밝혀졌습니다.
산스크리트어와 산탈리어를 포함한 나머지 10개 언어의 경우, 팀은 Indic Translate를 사용하여 문서 수준 번역을 수행합니다. Gemma-4-31B-it은 이러한 번역을 평가합니다. 산탈리의 긴 문서의 경우, 겹치는 창(Overlapping windows)이 번역되고 재구성됩니다. 이 워크플로우는 피드백 기반 재작성 없이 네이티브 스크립트 데이터만 생성합니다. 이 코퍼스는 지역 지식과 문화적 맥락에 여전히 필수적인 자연스럽게 작성된 인디언어 텍스트를 보완합니다. Nemotron 3.5 Super VL에 대한 지속적 사전학습은 이전에 이 코퍼스의 하위 집합에서 100억 개의 인디언어 토큰을 추가하여 모델 개선에 이 데이터의 유용성을 입증했습니다.
실무자 노트
개발자는 제공된 NeMo Data Designer 워크플로우를 활용하여 특정 언어 요구에 맞게 번역 및 품질 평가 파이프라인을 감사하고 적응시켜야 합니다. 2.8조 토큰 코퍼스를 사전학습에 직접 사용하거나, 오픈 프롬프트와 수리 논리를 새로운 소스 문서에 적용하여 추가 합성 데이터를 생성할 수 있습니다.