📖 AI 总结

Hugging Face 发布了一项针对印度语言预训练数据扩展的研究，构建了规模达 2.8 万亿 token 的 Indic 语料库，并开源了配套的数据生成流水线。该工作的核心在于解决印度语言作为低资源语种在预训练数据上的严重不足，通过可复用的自动化流程实现大规模语料生产。其意义在于为低资源语言的预训练研究提供了数据基础与工具支持，有助于提升多语言大模型对印度语言及其他低资源语言的覆盖范围和实际性能，推动多语言 AI 的公平性与包容性发展。