基本信息
- 标题：LongLoRA
- 发表：arXiv:2309.12307
- 日期：2023-09
- 相关主题：Long Context Training、SFT、LoRA
TODO
- 阅读论文原文，整理 LongLoRA 如何用参数高效微调扩展上下文长度。
- 回填 sparse local attention training、inference dense attention 和 LoRA fine-tuning 的关系。
- 补充它与 full CPT、YaRN、Position Interpolation 的成本和能力边界。