NVIDIA联合发布2.8万亿Token印地语数据集
发生了什么
据Hugging Face Blog报道，NVIDIA与AI4Bharat及IIT Madras合作发布Nemotron-pretraining-Indic-v1数据集。该数据集包含约2.8万亿Token，覆盖印度宪法规定的22种语言。其中包含2,601.0亿原生脚本Token和224.6亿罗马化Token。同时发布了开源的GPU加速数据生成管线，旨在扩展合成印地语训练数据资源。
- Token总量
- 2.8万亿
- 原生脚本Token
- 2,601.0亿
- 罗马化Token
- 224.6亿
- 覆盖语言数
- 22种
报道与来源
1 篇发布方数量不等于独立核验数量。同稿的多个入口保留在对应报道中。
- Hugging Face Blog一手材料
Scaling Indic Pretraining: 2.8 Trillion Tokens and an Open Data Generation Pipeline
来源关系与证据边界
按已记录的来源角色展示；连线仅表示原生身份流程确认的同稿入口，不表示独立佐证或跨报道引用。
- 一手材料1 个发布入口