ALiBi

基本信息

• 标题：ALiBi
• 发表：arXiv:2108.12409
• 日期：2021-08
• 相关主题：ALiBi、Positional Encoding、Long-context Training

TODO

• 阅读论文原文，整理 ALiBi 的 head-specific linear attention bias 机制。
• 回填 ALiBi 与 absolute position embedding、sinusoidal position encoding、RoPE 的差异。
• 梳理长度外推实验与适用边界。