基本信息
- Title: QLoRA: Efficient Finetuning of Quantized LLMs
- Source type: paper
- Related topic notes: SFT, Training Memory Estimation, Quantization
TODO
- 阅读论文原文，整理 4-bit base model、LoRA adapters、NF4、double quantization 和 paged optimizer。
- 回填 QLoRA 显存估算中 base weights、quantization metadata、LoRA states 和 activation 的组成。
- 补充 QLoRA 与 full fine-tuning、LoRA、post-training quantization 的边界。