基本信息
- 标题：Deduplicating Training Data Makes Language Models Better
- 发表：arXiv:2107.06499
- 日期：2021-07
- 相关主题：Deduplication、Data Engineering、Evaluation
TODO
- 阅读论文原文，整理 exact / near dedup 对语言模型训练、记忆和泛化的影响。
- 回填重复数据如何改变 validation loss、benchmark contamination 和 generation memorization。
- 补充去重粒度、阈值和副作用的实践边界。