基本信息
- 标题：QLoRA
- 发表：arXiv:2305.14314
- 日期：2023-05
- 相关主题：SFT、Training Memory Estimation、Quantization
TODO
- 阅读论文原文，整理 4-bit base model、LoRA adapters、NF4、double quantization 和 paged optimizer。
- 回填 QLoRA 显存估算中 base weights、quantization metadata、LoRA states 和 activation 的组成。
- 补充 QLoRA 与 full fine-tuning、LoRA、post-training quantization 的边界。