基本信息
- Title: LongRoPE: Extending LLM Context Window Beyond 2 Million Tokens
- Source type: paper
- Related topic notes: Long Context Training, RoPE
TODO
- 阅读论文原文，整理 LongRoPE 的非均匀位置插值、progressive extension 和 short-context readjustment。
- 回填超长上下文扩展的训练成本、短上下文保持和评测边界。
- 补充 LongRoPE 与 YaRN、Position Interpolation、LongLoRA 的关系。