T5

基本信息

• 标题：T5
• 发表：arXiv:1910.10683
• 日期：2019-10
• 相关主题：Data Engineering、Data Cleaning、Training Objective

TODO

• 阅读论文原文，整理 C4 数据构造、text-to-text framework 和 pretraining objective 对后续 LLM 数据工程的影响。
• 回填 web-scale cleaning、dedup/filtering 和 task mixture 的设计经验。
• 补充 T5 与后续 C4 数据文档化工作的关系。