万亿参数解剖台 — Kimi K3
激活参数账本（16/896 为什么不等于 1.8%）· 显存与算力解耦 · KDA/MLA 的 KV 分叉 · 等价物翻译器 · 参数进化时间线 · 对标竞技场 · 三档定价账单——2.78T 开放权重 MoE 深度解剖
Kimi K3 — 2.78 万亿参数开放权重 MoE
896 路由专家 + 2 共享专家，每 token 选 16 个；69 层 KDA 线性注意力 + 24 层 Gated MLA；1M 上下文。 激活 104.2B（占总量 3.75%），不是 16/896 算出来的 1.79%。
① 激活参数拼图：16/896 为什么不等于 1.8%
官方只公布总数 104.2B，拆分是推算——所以这里不假装精确： 拖动下面的「专家 参数占比」，看能不能把账本凑到官方值，凑不齐就红字报差。
| 组成 | 算式的来路 | 激活参数 | 备注 |
|---|---|---|---|
路由专家（top-k）🧮真算 | 16 / 896 × 专家总参 | 48.65B | 随 k 变化 |
共享专家（恒开）⚠推算 | 2 / 898 × 专家总参 | 6.08B | 不经过路由，永远参与 |
注意力（69 KDA + 24 MLA）⚠推算 | 总参 − 专家 − 嵌入（残差） | 46.72B | 官方未单独披露 |
嵌入 + 视觉塔🧮真算 | 2 × 163,840 × 7,168 + 401M | 2.75B | 词表/维度官方已给 |
| 合计 | 104.20B | 官方 104.20B |
因为共享专家 + 注意力 + 嵌入是恒激活地板，k 的变化只作用在路由专家那一块。 MoE 稀疏度不是「激活多少专家」这么简单的一件事。
② 显存 vs 算力解耦条
📖官方原文 104B 降低的是每 token 计算量，并不会让其余权重从显存中消失。 拖下面的滑杆亲自验证：改 k 只有算力条动，改上下文只有显存条动。
③ KDA vs MLA 的 KV 增长分叉
每 4 层一个周期 = 3 层 KDA + 1 层 Gated MLA，共 93 层 → 69 KDA : 24 MLA，末尾补 1 层全局 MLA。 KDA 是固定大小递归状态（平线），MLA 是压缩潜空间 KV（缓增）， 灰虚线是同规模全注意力模型的线性增长对照。附带 NoPE：位置信息由 KDA 递归门控隐式表达， 所以扩展到 1M 不需要 RoPE 插值/缩放。
这些维度官方未单独披露。本图真正可靠的是形状（平线 / 线性 / 更陡的线性），绝对值只作量级参考，不要拿它去印证下面的文献锚点。
④ MoE 蜂巢图：路由专家 + 共享专家
悬停任一六边形，右侧显示它在 latent 路由空间中的维度链。顶部琥珀色的是共享专家——旧版蜂巢图是纯随机路由，这一层完全看不到。
- Normalized LatentMoE在 latent 路由空间做 RMSNorm，稳定路由打分
- SiTU-GLU专家 FFN 的门控激活变体，替代常规 SwiGLU
- Quantile Balancing按分位均衡专家负载，抑制路由坍塌
- KDAKDA 线性注意力69 层，固定大小递归状态 ，KV 不随上下文增长
- AttnResAttnRes 残差注意力残差连接变体
- LatentMoEStable LatentMoE7168 → 3584 降维路由 → 专家隐藏 3072 → 回 7168
- NoPENoPE位置信息由 KDA 递归门控隐式表达，扩到 1M 不需要 RoPE 插值/缩放
- MoonViT原生 MoonViT-V2401M / 27 层 / patch 14，从零训练（非 SigLIP 初始化）
数据来源
数据快照日 2026-10-09📖 = 官方文献值（技术报告 / 模型卡 / 定价页 / 官方博客） 📰 = 第三方可溯源（带统计日） ⚠ = 推算或教学模型。 派生数字（激活参数拆分、KV 曲线、部署卡数、账单）均在浏览器内真算；凡官方未披露的拆分一律标注为推算， 不提供伪精确值。「Kimi Linear（48B / 3B 前身模型）」的 KV 与吞吐数据不属于 K3，已单独分栏。
本工具修掉了什么？（2026-10-09 全量重建记录）
- 激活参数：旧版用 16/896 推约 50B，官方 104.2B，低估 2.10×；真实激活占比 3.75%（旧版写 1.8%）
- API 价：¥1.0/1M 系编造 → 三档 ¥2 / ¥20 / ¥100，输出价差 100×；「GPT-5.6 的 1/100」方向也错（实约 1/3）
- 竞品表：8 个里 6 个代数错、分数全捏造、页脚谎称 LMSYS Arena；改为官方基准真读数 + 2026-10 榜单快照 + 短板视图
- 横幅「Arena #1 编程」过期 82 天 → 加时间戳并标注 10 月已降至 WebDev #13（1658）
- 时间线 canvas：getY 分母取最大值而非值域跨度 → 7/9 点画到画布外；修复后自检 10/10 在画布内
- 「平均每 2.4 年翻 10 倍」与数据不符（实为 2.04 年）；「2027 年 4-8T 将成为常态」无任何出处，已删除
- 等价物：星星多除一次 100 显示「≈0 个银河系」（应 ≈14）；米粒 56,000 吨应为 140,000 吨（2.5×）
- 造芯案例补上官方限定词「early proof of concept」与三项「未做」，并附 Cadence CEO 的反直觉回应
- 新增：激活参数账本 / 显存算力解耦 / KV 分叉曲线 / 共享专家蜂巢图 / 三档定价账单