ROOTS

基本信息

• 标题：ROOTS
• 发表：arXiv:2303.03915
• 日期：2023-03
• 相关主题：Data Mix、Data Engineering、Quality Filtering

TODO

• 阅读论文原文，整理 ROOTS 的多语言数据构成、治理流程、数据来源和质量控制。
• 回填 multilingual data engineering、provenance、language balance 和低资源语言风险。
• 补充 ROOTS 与 The Pile、C4、Dolma 等 corpus 的对比。