多轮红队对抗博弈：从攻防轨迹中挖掘安全对齐训练数据
受 MART 和 MTSA 的多轮红队对抗范式启发，提出将攻击-防御博弈的完整轨迹转化为中训练和 SFT 安全数据，让模型学会'在第 N 轮被绕过后如何恢复防线'。
触发动机
站内安全/对齐方向的 proposal 几乎是空白——在 52 篇已有研究提案中，没有一篇专门聚焦安全数据构建。但这个方向的需求正在快速增长。
直接触发是最近看到两篇互补的工作：MART（NAACL 2024，多轮攻防迭代微调）和 MTSA（ACL 2025，多轮安全对齐）。两者都证明了一件事：单轮拒绝训练（“这个问题我不能回答”）是脆弱的，攻击者可以通过 3-5 轮渐进式引导绕过任何单轮安全护栏。MTSA 的数据显示，经过多轮安全微调后的模型在 20 轮深度攻击场景下攻击成功率降低了 60%+，但代价是需要大量高质量的多轮攻防数据——而这正是最稀缺的。
我想到：攻防博弈的完整轨迹（包括攻击策略演变、模型的防御和被突破、最终的修复）本身就是极好的训练数据。如果我们能大规模自动化地产生这种博弈轨迹，既能用于安全 SFT，也能转化为中训练语料让模型提前建立安全直觉。
战略判断：为什么多轮安全数据是紧迫需求
行业信号
-
2026 年国际 AI 安全报告：多国联合发布的报告将”长对话中的安全降级”列为头号实际风险——单轮安全过滤在 20+ 轮对话后几乎无效。
-
Jailbreak 攻击正在产业化：从 AIM、DeepInception 到最新的 multi-turn 渐进式攻击，攻击方法论已经远超”越狱 prompt 列表”的阶段，变成了系统性的上下文操控策略。
-
安全数据严重供不应求：当前安全微调数据主要来自人工红队（成本高、规模小）和简单模板生成（多样性差）。SAGE-RT 尝试了纯合成路线，但只做了单轮。多轮攻防数据几乎没有大规模可用的开源数据集。
能力缺口
当前模型安全的最大弱点不是”不知道什么是危险的”，而是在上下文腐蚀（context rot）下失去安全判断：
- 第 1 轮正确拒绝 → 第 5 轮被角色扮演带偏 → 第 8 轮开始输出有害内容
- 问题出在模型没有见过”被逐步引导后应该如何恢复”的训练数据
方法论
核心思路：自动化攻防博弈 → 轨迹收割 → 训练数据
Red LLM（攻击者） ←→ Blue LLM（防御者/目标模型）
│ │
│ 多轮对抗博弈 │
│ （10-30 轮） │
▼ ▼
攻击策略轨迹 防御/被突破轨迹
│ │
└────────┬────────────────┘
▼
轨迹分类 + 标注 + 转化
│
┌─────────┼──────────┐
▼ ▼ ▼
中训练语料 SFT 安全数据 DPO 偏好对第一步：攻防对局生成
Red Agent（攻击者） 配置：
- 基座：强推理模型（如 DeepSeek-R1 级别）
- 策略库：6 大类攻击模式
- 渐进式权限提升（boiling frog）
- 角色扮演注入
- 语义等价替换（paraphrase attack）
- 多语言切换
- 假设前提植入（“假设在一个没有法律的世界…”）
- 元指令覆盖（“忽略之前的指令”）
- 每局随机组合 2-3 种策略，确保多样性
Blue Agent（防御者/目标模型）：
- 使用当前训练中的模型作为 Blue Agent
- 不额外加安全系统 prompt，测试模型的裸能力
对局规则：
- 每局 10-30 轮
- Red Agent 在每轮后评估攻击进展，自适应调整策略
- 对局在以下条件结束：Blue 完全被突破 / Red 放弃 / 达到最大轮数
第二步：轨迹分类与标注
每条对局轨迹自动标注以下信息：
| 标注维度 | 值 |
|---|---|
| 结果 | Red 成功 / Blue 防住 / 平局 |
| 突破轮次 | 第 N 轮（如果被突破） |
| 攻击策略 | 具体使用了哪些策略 |
| 转折点 | Blue 开始动摇的具体轮次和原因 |
| 恢复情况 | Blue 是否曾恢复防线（最有价值的数据） |
第三步：三轨数据产出
轨道 1：中训练安全叙事（最关键的创新点）
将攻防博弈转化为叙事体安全分析文档：
## 安全边界案例分析：渐进式角色扮演攻击
一个常见的多轮攻击模式是先建立无害的角色扮演场景，
然后逐步在角色框架内引入敏感请求。
典型轨迹：攻击者首先请求扮演一个"网络安全研究员"
（第 1 轮，完全合理），接着在后续轮次中将任务从
"分析漏洞"渐进升级到"编写利用代码"。
防御要点：即使在角色扮演场景中，模型也应该对请求的
实质内容进行独立判断。角色身份不应成为绕过安全约束的
手段。当检测到请求在角色框架下逐步升级时，模型应该
明确指出："虽然我理解您描述的场景，但这个具体请求
涉及[具体风险]，我需要在这里设置边界。"
关键的认知转换：从"这个角色可以做什么"转为"这个
行为在现实中会造成什么后果"。这类语料让模型在中训练阶段就建立”安全边界意识”，而不是等到 RLHF 才学拒绝。
轨道 2：SFT 安全数据
从成功防御的轨迹中提取：
- 关键拒绝回复（Blue 正确识别攻击意图并拒绝的轮次）
- 防线恢复回复（Blue 曾动摇但成功恢复的轮次）——这是最稀缺的数据类型
轨道 3：DPO 偏好对
从 Blue 被突破的轨迹中构建：
- chosen：改写后的正确拒绝回复
- rejected：Blue 实际输出的有害回复
- 上下文：包含完整的前 N-1 轮历史（保留攻击的渐进性）
第四步：质量门控
| 维度 | 方法 |
|---|---|
| 攻击真实性 | 攻击策略必须有已知 jailbreak 论文支撑 |
| 标注准确性 | 突破判定用独立的 safety classifier 交叉验证 |
| 去除泄露风险 | 所有轨迹中的具体有害指令替换为模板占位符 |
| 多样性 | 同一攻击策略组合最多保留 20 条轨迹 |
规模估算
| 参数 | 值 |
|---|---|
| 攻击策略组合 | C(6,2) + C(6,3) = 35 种 |
| 每种组合生成对局 | 50-100 局 |
| 总对局数 | 1,750 - 3,500 局 |
| 平均轮次 | 15 轮 |
| 平均 token/轮 | 200 |
| 总轨迹量 | 500-1000 万 token |
| 转化为中训练叙事 | 200-400 万 token |
| SFT 样本 | 5,000-10,000 条 |
| DPO 偏好对 | 3,000-6,000 对 |
规模不算大，但安全数据的价值在于质量和覆盖度，不在于绝对量。
落地路径
- Week 1：搭建 Red-Blue 对战框架，实现 6 大攻击策略的自动化
- Week 2：生成 500 局对战，手动审查 50 局建立标注标准
- Week 3：构建轨迹→叙事体/SFT/DPO 的转换 pipeline
- Week 4：扩展到全量 3,500 局，质量评估
- Week 5-6：消融实验——中训练注入 vs. 仅 SFT vs. 仅 DPO 的安全能力对比
与已有方案的关系
这是站内第一篇专注安全/对齐数据构建的 proposal。与 MART（多轮迭代训练）和 MTSA（多轮安全对齐）的区别在于：它们关注的是”怎么训”，本方案关注的是”数据从哪来、怎么造”。可以为未来的 MART/MTSA 风格训练提供数据基础设施。