基本信息
- 标题：Grouped-Query Attention
- 发表：arXiv:2305.13245
- 日期：2023-05
- 相关主题：Grouped-Query Attention、Multi-Query Attention、KV Cache
TODO
- 阅读论文原文，整理 GQA 如何在 MHA 和 MQA 之间折中 KV heads 数量。
- 回填从 MHA checkpoint 转换/训练 GQA 模型的思路。
- 梳理 GQA 对 KV Cache、memory bandwidth 和质量的影响。