FineWeb

基本信息

• 标题：FineWeb
• 发表：arXiv:2406.17557
• 日期：2024-06
• 相关主题：Data Cleaning、Quality Filtering、Data Mix

TODO

• 阅读论文原文，整理 FineWeb 的 web data filtering、deduplication、quality ablation 和数据版本设计。
• 回填大规模 web corpus 如何通过过滤、去重和 ablation 改善预训练效果。
• 补充 FineWeb 与 RefinedWeb、Dolma、DataComp-LM 的关系。