ZeRO-Infinity

基本信息

• 标题：ZeRO-Infinity
• 发表：arXiv:2104.07857
• 日期：2021-04
• 相关主题：ZeRO、Training Memory Estimation、Training Budget

TODO

• 阅读论文原文，整理 CPU/NVMe offload 如何扩展可训练模型规模。
• 回填异构内存层级、带宽瓶颈和调度策略。
• 补充 offload 与 GPU 显存、训练吞吐、checkpoint 存储之间的 trade-off。