LongRoPE

基本信息

• 标题：LongRoPE
• 发表：arXiv:2402.13753
• 日期：2024-02
• 相关主题：Long Context Training、RoPE

TODO

• 阅读论文原文，整理 LongRoPE 的非均匀位置插值、progressive extension 和 short-context readjustment。
• 回填超长上下文扩展的训练成本、短上下文保持和评测边界。
• 补充 LongRoPE 与 YaRN、Position Interpolation、LongLoRA 的关系。