Big Bird

基本信息

• 标题：Big Bird
• 发表：arXiv:2007.14062
• 日期：2020-07
• 相关主题：Sliding Window Attention、Attention、Long-context Training

TODO

• 阅读论文原文，整理 sparse attention pattern 如何组合局部、全局和随机连接。
• 回填长序列 attention 中复杂度、连通性和表达能力的取舍。
• 对照 Longformer、Sliding Window Attention 和 Hybrid Attention。