LoRA

基本信息

• 标题：LoRA
• 发表：arXiv:2106.09685
• 日期：2021-06
• 相关主题：SFT、Training Memory Estimation、Rank and Low Rank

TODO

• 阅读论文原文，整理 LoRA 的低秩增量参数化和冻结 base weights 的训练方式。
• 回填 LoRA 对可训练参数量、optimizer state 和显存估算的影响。
• 补充 rank、target modules、inference merge 和 full fine-tuning 的对比。