RoFormer

基本信息

• 标题：RoFormer
• 发表：arXiv:2104.09864
• 日期：2021-04
• 相关主题：RoPE、Positional Encoding、Attention

TODO

• 阅读论文原文，整理 Rotary Position Embedding 的旋转形式和相对位置性质。
• 回填 RoPE 作用于 Q/K、影响 attention score 而不是直接加到 token embedding 的机制。
• 对照 YaRN、Position Interpolation 和 LongRoPE，梳理 RoPE 长上下文扩展路线。