NVIDIA와 AI4Bharat, 2.8조 토큰의 인디언어 코퍼스 및 오픈 파이프라인 공개
읽어야 하는 이유 이번 공개는 방대하고 검증 가능한 합성 코퍼스와 이를 생성하는 데 사용된 재사용 가능한 도구를 제공하여 인도 언어의 심각한 데이터 부족 문제를 해결합니다.
NVIDIA와 AI4Bharat은 22개 언어를 위한 2.8조 토큰 규모의 인디언어 사전학습 코퍼스와 GPU 가속 데이터 생성 파이프라인을 공개했습니다.
읽어야 하는 이유 이번 공개는 방대하고 검증 가능한 합성 코퍼스와 이를 생성하는 데 사용된 재사용 가능한 도구를 제공하여 인도 언어의 심각한 데이터 부족 문제를 해결합니다.
NVIDIA와 AI4Bharat은 22개 언어를 위한 2.8조 토큰 규모의 인디언어 사전학습 코퍼스와 GPU 가속 데이터 생성 파이프라인을 공개했습니다.