タグ · #data-generation

NVIDIAとAI4Bharat、2.8兆トークンのIndicデータセットとオープンパイプラインを公開

読む理由 このリリースは、大規模で監査可能な合成コーパスと、その作成に使用された再利用可能なツールを提供することで、インド言語における深刻なデータの不足に対処します。

NVIDIAとAI4Bharatは、22言語に対応する2.8兆トークンのIndic前訓練コーパスと、GPU加速されたオープンなデータ生成パイプラインをリリースしました。