基本信息
- Title: LongLoRA: Efficient Fine-tuning of Long-Context Large Language Models
- Source type: paper
- Related topic notes: Long Context Training, SFT, LoRA
TODO
- 阅读论文原文，整理 LongLoRA 如何用参数高效微调扩展上下文长度。
- 回填 sparse local attention training、inference dense attention 和 LoRA fine-tuning 的关系。
- 补充它与 full CPT、YaRN、Position Interpolation 的成本和能力边界。