Finetuned Language Models Are Zero-Shot Learners

基本信息

• Title: Finetuned Language Models Are Zero-Shot Learners
• Source type: paper
• Related topic notes: Instruction Tuning, SFT

TODO

• 阅读论文原文，整理 FLAN 的 instruction tuning 数据混合和 zero-shot 泛化结果。
• 回填多任务指令微调如何改变模型 task interface。
• 补充 prompt template 多样性、任务数量和模型规模之间的关系。