Finetuned Language Models Are Zero-Shot Learners

基本信息

• 标题：Finetuned Language Models Are Zero-Shot Learners
• 发表：arXiv:2109.01652
• 日期：2021-09
• 相关主题：Instruction Tuning、SFT

TODO

• 阅读论文原文，整理 FLAN 的 instruction tuning 数据混合和 zero-shot 泛化结果。
• 回填多任务指令微调如何改变模型 task interface。
• 补充 prompt template 多样性、任务数量和模型规模之间的关系。