慢节点从哪来 · 两种 MoE 路由攻击对照实验室

一块 GPU 变成 straggler、其余空转——这个症状有两种成因:一种是普通用户发一段重复文本就能触发(RepetitionCurse, ICML 2026), 另一种是模型发布者改了 router 权重(Load Hijack)。症状一样,不是一种病

Load Hijack · 触发落点
92.3%~95.6%
📖 3 个 MoE 家族 × 4 个语料
Load Hijack · TTFT
1.43×
📖 实时 EP 服务 · 吞吐 0.86×
Load Hijack · victim/peer
≈49×
📖 计算比 · SM 利用率 1.60×
RepetitionCurse · TTFT
+20%~148%
📖 8-GPU 集群 · camera-ready 口径

三个前提开关:哪些攻击在你的假设下能成立

🧮 实时判定
🔄 RepetitionCurse可行
攻击者:
普通用户(能发 prompt 即可)
触发方式:
重复同一 token 的 prompt
普通输入上:
也会受影响(集中度随重复占比连续上升)
可检测性:
输入侧可见:低困惑度、高重复度
需要的前置知识
  • 零知识黑盒:不需要权重
  • 不需要路由策略
  • 不需要 expert→GPU 映射
🎯 Load Hijack不可行
攻击者:
模型发布者(供应链)
触发方式:
私有 trigger 前缀
普通输入上:
路由完全正常(这是难点所在)
可检测性:
输入侧看不见,只能审计 checkpoint 与运行时负载
需要的前置知识
  • 能改 checkpoint 的 router 权重(LoRA)
  • 需知道 expert→GPU 映射
  • 且要求放置固定且连续
当前假设下缺:能改 checkpoint 的 router 权重、知道 expert→GPU 映射且放置固定连续、持有私有 trigger 前缀

发布者的能力集合包含普通用户的:能改权重的人当然也能发 prompt。所以这条轴不是「二选一」,而是攻击面只增不减。

链路定位

🧮
输入 prompt用户能碰到的唯一环节RouterG(h)=Softmax(h·W_router)专家分配top-k 选择 · 容量上限expert→GPU 放置部署决定,运行时固定GPU 计算 / all-reduce慢节点在这里出现🔄 RepetitionCurse🎯 Load Hijack(改 router 权重)前提是「放置固定且连续」——动态重映射即可破攻击者站在链路的哪一环

RepetitionCurse 只碰最左边的输入框——它什么都不改,只是让进来的 token 长得一样; Load Hijack 改的是 Router 那一环的权重,但它要生效还得依赖右边「放置固定且连续」这个部署前提。 两条路径交汇在同一个终点:一块卡变成 straggler。

为什么这两个要放在一起看:它们治法不同。 RepetitionCurse 是输入侧问题,输入侧门禁(困惑度过滤)和放置重排(VA-LB)都能碰它; Load Hijack 的 router 是「按设计工作的」——它只是被训成了攻击者的样子, 所以只有审 checkpoint 和破坏放置假设这两条路。症状一样,不是一种病。

📖 论文读数,照抄不改🧮 浏览器内真算⚠️ 本站教学模型或按机制推断

RepetitionCurse 与 Load Hijack 的实验设置不同(前者 8-GPU 集群 + 模拟生产环境,后者 4 GPU + 单一 EP 配置), 本页只做左右对照,不做数值对齐,也不提供「谁更狠」的结论。数据快照日 2026-10-12。