基本信息
- Title: LoRA: Low-Rank Adaptation of Large Language Models
- Source type: paper
- Related topic notes: SFT, Training Memory Estimation, Rank and Low Rank
TODO
- 阅读论文原文，整理 LoRA 的低秩增量参数化和冻结 base weights 的训练方式。
- 回填 LoRA 对可训练参数量、optimizer state 和显存估算的影响。
- 补充 rank、target modules、inference merge 和 full fine-tuning 的对比。