DeepSeekMoE

基本信息

• 标题：DeepSeekMoE
• 发表：arXiv:2401.06066
• 日期：2024-01
• 相关主题：Mixture of Experts、DeepSeek

TODO

• 阅读论文原文，整理 fine-grained expert segmentation、shared experts 和 expert specialization 的设计动机。
• 回填 DeepSeekMoE 与经典 sparsely-gated MoE、Switch Transformer 的差异。
• 补充 MoE 中 shared/routed experts、负载均衡和专家 specialization 的稳定知识。