基本信息
- 标题：Position Interpolation
- 发表：arXiv:2306.15595
- 日期：2023-06
- 相关主题：Long Context Training、RoPE
TODO
- 阅读论文原文，整理 Position Interpolation 的动机、方法和长度外推设定。
- 回填位置插值为何比直接外推更稳定，以及它对长上下文 continued pretraining 的意义。
- 补充该方法的适用边界、短上下文保持和评测方式。
arxiv.org/pdf/2306.15595.pdf