#MLA

2024 年 5 月，DeepSeek 发布 DeepSeek-V2 系列开源大模型，首次引入多头潜在注意力（MLA）与 MoE 稀疏架构，236B 总参数、单 token 激活约 21B，以极低推理成本对标主流模型，奠定后续 V3、R1 的高效路线。