京东 JoyAI-LLM Flash：489B 总参 + 32.8B 激活 + 20.7T Token + Muon 优化器
京东 JoyAI-LLM Flash：489B 总参 + 32.8B 激活 + 20.7T Token + Muon 优化器
来源类型： 行业产品深度
日期： 2026
标签： #京东 #JoyAI #LLMFlash #489B #Muon优化器
核心发布
"京东发布了 JoyAI-LLM Flash 模型。它激活参数小且推理速度快。只用不到 30 亿的激活参数，在多项测试里跑赢了同级别的许多老大哥。"
6 大技术亮点
"这款模型通过混合专家架构、20 万亿 Token 的预训练、首创的 FiberPO 强化学习算法以及多 Token 预测等技术，把模型的算力成本和推理效率做到了极致。"
1. MoE 架构
"总参数量为 489 亿的混合专家（Mixture-of-Experts）模型。它总共有 40 层神经网络，第一层是常规的密集网络，剩下 39 层都是这种专家层。"
"每次处理一个 Token 时，它只需要激活 8 个相关的路由专家和那个共享专家。虽然总参数量接近 500 亿，但模型每次向前计算只激活了约 32.8 亿个参数，如果不算词表嵌入层甚至只有 27 亿。"
2. 多头潜在注意力
"它在微观结构上使用了多头潜在注意力（Multi-head Latent Attention）机制。这是目前业内提升推理效率非常前沿的做法。"
3. 20.7T Token
"在训练阶段，工程师给它喂了多达 20.7 万亿个高质量 Token。"
4. Muon 优化器
"团队放弃了常规的 Adam 优化器，改用了 Muon 优化器。Muon 优化器通过矩阵正交化的方式进行更新，在整个实验中表现得极其稳定，没有出现过任何明显的数值异常崩溃。"
5. 4 阶段预训练
"为了让模型能循序渐进地变聪明，预训练被切分成了 4 个阶段：
- 基础阶段
- 代码和数学增强阶段
- 中期训练（含多 Token 预测）
- 长文本阶段（6.4 万 → 12.8 万 Token）"
6. 高质量数据
"大模型能有多聪明完全取决于它吃进去的数据有多好。为了凑齐这 20.7 万亿个高质量 Token，研发团队建立了一条非常庞大且精细的数据流水线。"
关键洞察
1. 489B
- 总参
- 是规模
2. 32.8B
- 激活
- 是亮点
3. Muon
- 优化器
- 是创新
4. 20.7T
- Token
- 是数据
5. MLA
- 注意力
- 是机制
与已有知识的关联
- wiki/entities/jingdong — 京东
- wiki/entities/joyai-llm-flash — JoyAI-LLM Flash
- wiki/entities/qwen — Qwen
- wiki/entities/muon — Muon 优化器
- wiki/entities/adam — Adam 优化器
- wiki/concepts/moe — MoE 架构
- wiki/concepts/mla — 多头潜在注意力
- wiki/concepts/multi-token-prediction — 多 Token 预测
- wiki/concepts/fiberpo — FiberPO 算法
资料来源
- 原文：https://mp.weixin.qq.com/s/ymKLfnCE4HcWrt-_vcNwHQ
- 原始文件：
raw/articles/BAT国内/美团之后，京东也开始自研大模型了.md - 来源：AIGC 开放社区
我的判断（高置信度）
这是 2026 年京东 JoyAI-LLM Flash 最深度的中文产品分析——489B + 32.8B 激活 + Muon 优化器。
关键洞察：
1. "489B" —— 是规模
2. "32.8B" —— 是激活
3. "Muon" —— 是创新
4. "20.7T" —— 是数据
5. "MLA" —— 是机制
预测：
- 2026 H2：可能立法"国产 LLM"标准
- 2027：可能形成"MoE 模型"规范
- 2028：可能涌现"京东 AI"新格局
对京东的启示：
"JoyAI-LLM Flash" 是新基线
- 489B/32.8B
- 是新方向
- 长期价值
对 MoE 模型的启示：
"Muon 优化器" 是新趋势
- 矩阵正交化
- 是新基线
- 长期演进
对国产 LLM 的启示：
"京东 + 美团" 是新格局
- BAT 后
- 是新趋势
- 长期价值