RefinedWeb

基本信息

• 标题：RefinedWeb
• 发表：arXiv:2306.01116
• 日期：2023-06
• 相关主题：Data Mix、Data Cleaning、Quality Filtering、Deduplication

TODO

• 阅读论文原文，整理 RefinedWeb 的 web-scale filtering、deduplication 和数据质量设计。
• 回填“web data only”路线对预训练数据配方的启发与边界。
• 补充 RefinedWeb 与 curated corpora、The Pile、DataComp-LM 的关系。