#MoE

2024 年 12 月 26 日，DeepSeek 发布 671B 参数的 MoE 基座模型 DeepSeek-V3，单 token 激活约 37B，新增多 token 预测并采用 FP8 混合精度训练，性能对标 GPT-4o 与 Claude 3.5 Sonnet，并以极低训练成本引发业界关注。

DeepSeek 2025-2026 年密集开源推理与训练基础设施，FlashMLA、DeepEP、DeepGEMM、DeepSpec、3FS 等覆盖"算法-内核-通信-存储"全链路，以 MIT 协议开放，系统性地把高效 MoE 推理工程能力输出给全球开发者。

2024 年 5 月，DeepSeek 发布 DeepSeek-V2 系列开源大模型，首次引入多头潜在注意力（MLA）与 MoE 稀疏架构，236B 总参数、单 token 激活约 21B，以极低推理成本对标主流模型，奠定后续 V3、R1 的高效路线。

月之暗面 7 月 27 日开源 Kimi K3，全球首个开放的 3T 级参数模型（2.8 万亿），采用 MoE 架构、原生视觉能力、100 万 token 上下文；上线即登顶 Hugging Face 趋势榜，被海外开发者称为"本地版 Fable 5"，马斯克亦公开点赞。