位置编码模块负责整理序列位置信息的建模方式,包括绝对位置、正弦位置编码、RoPE、ALiBi、YaRN 和长上下文扩展。
Reading Path
- 位置编码:总览 attention 为什么需要顺序信息。
- Absolute Position Embedding 与 Sinusoidal Position Encoding:输入层位置向量路线。
- RoPE:现代 decoder-only LLM 常用的 Q/K 旋转路线。
- ALiBi:attention score bias 路线。
- YaRN:RoPE 长上下文扩展路线。