位置编码模块负责整理序列位置信息的建模方式,包括绝对位置、正弦位置编码、RoPE、ALiBi、YaRN 和长上下文扩展。

Reading Path

  1. 位置编码:总览 attention 为什么需要顺序信息。
  2. Absolute Position EmbeddingSinusoidal Position Encoding:输入层位置向量路线。
  3. RoPE:现代 decoder-only LLM 常用的 Q/K 旋转路线。
  4. ALiBi:attention score bias 路线。
  5. YaRN:RoPE 长上下文扩展路线。

Notes