DeepSeek V4是怎么训练出来的？58页论文万字深入解读

来源类型： 技术深度
日期： 2026-04-30
标签： #DeepSeek #V4 #MoE #mHC #注意力机制 #百万上下文 #开源模型 #训练架构

核心论点

DeepSeek V4 不是一个冲破 AGI 天花板的世界最佳模型，但它是让普通开发者第一次能够放心用上 100 万上下文 Agent 模型的发布。核心价值在于将「100 万长上下文」+「Agent 多步调用能力」+「能接受的价格」三件事第一次组合到一起。

V4 发布了两个模型：
- V4-Pro（总参数 1.6T，激活 49B）：开源阵营里跟闭源旗舰掰手腕的代表
- V4-Flash（参数为 Pro 的 1/6）：真正符合 DeepSeek 高性价比风格的模型，价格约为同类的 1/7 到 1/18

架构三大核心改进（在 V3 基础上）：
1. mHC（Modified Hyper-Connections）：给残差连接加"只准收缩不准放大"的数学护栏（双随机矩阵），解决 HC 训练不稳定问题（信号放大 3000 倍→信号守恒），使模型能从 671B 推到 1.6T
2. CSA+HCA 混合注意力：CSA（Compressed Sparse Attention）做精细选择，HCA（Hierarchical Coarse Attention）做全局概览。解决百万 token 下 KV cache 爆炸问题
3. Muon 优化器：替代 AdamW，解决超大规模 MoE 训练收敛慢和偏科问题

关键事实

• V4-Pro 总参数 1.6T（V3 的 2.4 倍），激活参数 49B（V3 为 37B），300+ experts 每次只激活 6+1
• mHC 使用双随机矩阵（每行每列求和=1）保证信号守恒，Sinkhorn-Knopp 算法每层迭代 20 次
• HC 在 27B 模型上信号放大倍数峰值达 3000 倍，mHC 彻底解决此问题
• 标准注意力 4K→100 万上下文成本增加约 6 万倍
• V4 对标原为 Opus 4.6 和 GPT-5.4（2 月时），实际发布时对手已变为 Opus 4.7 和 GPT-5.5
• DeepSeek 延迟发布原因为更好适配国产芯片
• 独立开发者推荐组合：关键决策用 Opus 4.7，批量/Agent 任务用 V4-Flash
• 作者花费 2000 万 Opus 4.7 tokens 读完论文并制作 73 页 PPT

与已有知识的关联

• wiki/entities/deepseek — DeepSeek 公司
• wiki/entities/deepseek-v4 — DeepSeek V4 模型（已有实体，需更新）
• wiki/concepts/memory-architecture — 百万上下文与记忆架构的关系
• wiki/concepts/token-economics — 地板抬高决定 AI 应用爆发规模
• wiki/sources/agent-2026-06-mythos-launch — Mythos 与 V4 的竞品对比