DeepSeek V4 技术深度：1.6T 参数 + 32T tokens + CSA/HCA + mHC + Muon（DeepTech 深科技）
DeepSeek V4 技术深度：1.6T 参数 + 32T tokens + CSA/HCA + mHC + Muon（DeepTech 深科技）
来源类型： 行业技术深度
日期： 2026
标签： #DeepSeekV4 #1.6T #CSA #HCA #mHC #Muon
核心发布
"4 月 24 日，DeepSeek 在 Hugging Face 上传了 V4 系列的预览版本。这一代分两个型号，旗舰 V4-Pro 总参数 1.6 万亿、激活 490 亿，V4-Flash 总参数 2,840 亿、激活 130 亿，两款均支持 100 万 tokens 上下文，均为 MoE 架构、纯文本模型。"
"与模型一同放出的还有 58 页的技术报告，标题为《DeepSeek V4：迈向高效的百万 token 上下文智能》。"
5 大架构
1. CSA + HCA 混合注意力
"V4 最核心的架构改动是一个分层的混合注意力机制。DeepSeek 这次设计了两个模块：Compressed Sparse Attention（CSA）和 Heavily Compressed Attention（HCA），在各层之间交替使用。"
"CSA 先把每 4 个 token 的 KV cache 压成 1 个 entry，再在压缩后的序列上跑稀疏注意力。HCA 则更激进，直接把每 128 个 token 压成 1 个 entry，但保持稠密注意力。"
"在 100 万 tokens 上下文下，V4-Pro 的单 token 推理 FLOPs 只有 V3.2 的 27%，KV cache 只有 10%；V4-Flash 更极端，FLOPs 是 V3.2 的约 10%，KV cache 是 7%。"
2. Anticipatory Routing
"常规做法是每一步训练时主干网络和路由网络同步更新；DeepSeek 发现把这两者解耦能显著压住 loss spike。"
3. SwiGLU Clamping
"直接把 SwiGLU 的线性输出钳制到 [-10, 10]、门控上界也限到 10。这个 trick 最早出现在 OpenAI 今年的 gpt-oss 技术报告里，DeepSeek 发现它能有效抑制 MoE 层里出现的 outliers。"
4. Muon 优化器
"V4 用 Muon 替代了 AdamW 作为主优化器（embedding、prediction head、RMSNorm 仍用 AdamW），并设计了一套 hybrid Newton-Schulz 迭代来做权重正交化。"
5. mHC 流形约束
"流形约束超连接（mHC），把残差映射矩阵约束在 Birkhoff 多面体上，保证它的谱范数不超过 1，从而让信号在深层传播时不会爆炸。"
5 大数据
| 维度 | V3 | V4-Pro | V4-Flash |
|---|---|---|---|
| 总参数 | 671B | 1.6T | 284B |
| 激活 | 37B | 49B | 13B |
| 上下文 | 128K | 1M | 1M |
| 训练 Token | 14.8T | 33T | 32T |
| 架构 | MoE | MoE | MoE |
后训练：OPD 多教师蒸馏
"真正让 V4 和 V3.2 在方法论上分岔的，是 post-training。技术报告中提到，V3.2 的 mixed RL 阶段在 V4 被整体替换成了 On-Policy Distillation（OPD）。"
"先分别训练几十个领域专家模型，覆盖数学、代码、Agent、指令跟随。然后在第二阶段，把十几个 teacher 模型的 logits 蒸馏到一个 student 模型里。"
关键洞察
1. 1.6T 参数
- V4-Pro
- 是规模
2. CSA + HCA
- 混合注意力
- 是核心
3. 27% FLOPs
- V4-Pro
- 是亮点
4. mHC
- 流形约束
- 是创新
5. OPD 蒸馏
- 多教师
- 是方法
与已有知识的关联
- wiki/entities/deepseek — DeepSeek
- wiki/entities/deepseek-v4 — DeepSeek V4
- wiki/entities/deepseek-v4-pro — DeepSeek V4-Pro
- wiki/entities/deepseek-v4-flash — DeepSeek V4-Flash
- wiki/entities/openai — OpenAI
- wiki/entities/gpt-oss — gpt-oss
- wiki/concepts/csa — CSA 压缩稀疏注意力
- wiki/concepts/hca — HCA 重压缩注意力
- wiki/concepts/mhc — mHC 流形约束
- wiki/concepts/muon — Muon 优化器
- wiki/concepts/opd — OPD 多教师蒸馏
- wiki/entities/deeptech-shenkeji — DeepTech 深科技（作者）
资料来源
- 原文：https://mp.weixin.qq.com/s/H3X3ueMh1gwdlF5GLbNqxQ
- 原始文件：
raw/articles/微信文章2/DeepSeek V4来了：在喧哗众声中，按自己的节奏讲开源故事.md - 来源：DeepTech 深科技
我的判断（高置信度）
这是 2026 年 DeepSeek V4 技术最深度的中文分析——1.6T + CSA/HCA + mHC + Muon + OPD。
关键洞察：
1. "1.6T" —— 是规模
2. "CSA/HCA" —— 是核心
3. "27% FLOPs" —— 是亮点
4. "mHC" —— 是创新
5. "OPD" —— 是方法
预测：
- 2026 H2：可能形成"AI 注意力"标准
- 2027：可能立法"AI 开源"规范
- 2028：可能涌现"AI 万亿"新格局
对 AI 研究者的启示：
"CSA/HCA" 是新方向
- 混合注意力
- 是新基线
- 长期价值
对 DeepSeek 的启示：
"开源故事" 是新定位
- 自己的节奏
- 是新基线
- 长期演进
对竞品的启示：
"V4 1.6T" 是新挑战
- 27% FLOPs
- 是新基线
- 长期价值