Sparse and Efficient Architectures

稀疏与高效架构模块负责整理 MoE、Mamba、SSM、Linear Attention 等用于提升扩展性、效率或长序列建模能力的架构路线。

Reading Path

1. Mixture of Experts：通过 sparse FFN 扩大 total capacity。
2. Linear Attention 与 Efficient Transformer：降低 attention 长序列复杂度的路线。
3. State Space Model 与 SSM：用状态空间结构替代或补充 attention 的路线。

Notes

• Mixture of Experts
• SSM
• State Space Model
• Linear Attention
• Efficient Transformer

Related Source TODOs

• Outrageously Large Neural Networks
• GShard
• Switch Transformer
• DeepSeekMoE
• DeepSeek-V2
• DeepSeek-V3