Dolma

基本信息

• 标题：Dolma
• 发表：arXiv:2402.00159
• 日期：2024-02
• 相关主题：Data Engineering、Data Mix、Quality Filtering

TODO

• 阅读论文原文，整理 Dolma 的数据组成、清洗过滤、去重、开放语料设计和数据报告。
• 回填 open pretraining corpus 在 provenance、版本化和可复现实验中的作用。
• 补充 Dolma 与 OLMo 训练、The Pile、RefinedWeb、FineWeb 的关系。