基本信息
- 标题：Outrageously Large Neural Networks
- 发表：arXiv:1701.06538
- 日期：2017-01
- 相关主题：Mixture of Experts
TODO
- 阅读论文原文，整理 sparsely-gated MoE layer 的 routing、top-k experts 和 load balancing。
- 回填 MoE 中 total parameters、active computation、expert capacity 与负载均衡的基本概念。
- 对照 GShard、Switch Transformer、DeepSeekMoE 等后续路线，梳理 MoE 在 LLM 中的演进。