[v2] 质检轨迹数据作为训练数据：一个被低估的数据飞轮

背景：一个正在被浪费的数据金矿

我们内部有一组运行中的大模型数据质检 Agent，在多个复杂任务上的判断能力已经超越了人工规则系统。每天，这些 Agent 处理大量数据样本，输出判断结论——但我们从未系统地记录它们是怎么判断的。

这是一个值得认真对待的疏忽。

Agent 的执行轨迹——包括它读取了哪些字段、触发了哪些推理步骤、在哪里产生了不确定性、最终如何给出决策——是一种结构化的认知过程记录。与从零合成的训练数据相比，这类轨迹有一个根本性的优势：它有外部现实的锚点。数据是真实存在的，质检结论是可以被事后回溯验证的，判断过程是实际发生过的。

本文提出一个研究方案：将质检轨迹数据系统化地转变为训练数据，构建一个真正意义上的数据飞轮。

🔄 [v2 改进] 领域明确化：这是「LLM 训练数据质检」，不是泛化的质检

原版背景章节对「质检」的定义过于宽泛，可能让读者误以为这个方案适用于任何质检场景（工厂质检、软件测试等）。需要明确：

本方案的核心定位是「LLM 训练数据质检」，具体覆盖三类判断任务：

1. 指令遵循质量评估：给定一个 instruction-response pair，判断 response 是否准确、完整地遵循了 instruction 的要求
2. 推理链完整性检查：给定一个 chain-of-thought 回答，判断推理链是否存在跳步、循环论证、前后矛盾等问题
3. 事实准确性判断：给定一个包含事实性陈述的回答，判断哪些陈述需要人工核实

训练目标的精确表述： 不是「通用质检能力」，而是提升模型在数据工程判断场景下的元认知能力——即让模型学会「如何评估另一个 LLM 的输出质量」。这是一种高阶的、目前训练数据中严重欠缺的能力。

这个定位使得方案更聚焦、更可验证，避免了「泛化到所有质检场景」的陷阱。

---

一、为什么质检轨迹数据有独特价值

1.1 真实 vs. 合成的根本差异

当前训练数据生产的主流路径有两条：人工标注和模型合成。人工标注质量高但成本线性增长；模型合成成本低但存在”幻觉传染”——合成数据中的错误模式会被模型学习并放大。

质检轨迹数据是第三条路。它的来源是真实任务（真实数据上的真实质检决策），但生产成本是零——因为这些轨迹本来就在系统运行中产生，只是没有被记录。更重要的是，质检结论可以被独立验证：一个数据样本被判断为”低质量”，事后可以通过人工复核、下游模型性能变化等方式来确认这个判断是否正确。这种可回溯验证性是合成数据天然缺乏的。

1.2 任务多样性带来的覆盖优势

质检任务天然覆盖多种数据类型和判断维度：指令遵循质量、回答准确性、推理链完整性、格式规范性、有害内容识别、事实核查……每一类质检任务都对应一种认知能力。系统收集这些轨迹，等于在用真实任务持续采样”数据工程判断力”的能力空间，而不是靠人为设计来覆盖场景。

1.3 自带难度分层

质检 Agent 的置信度分布天然构成一个难度标尺。对于置信度接近 1.0 的样本，Agent 几乎不需要推理就能给出结论；对于置信度在 0.5 附近的样本，Agent 往往需要多步比对、反事实推理、证据权衡才能决策。这种内生的难度分层让我们可以按需采样——不需要人为设计难度梯度，轨迹本身就携带了这个信号。

---

二、什么样的质检轨迹值得收集

不是所有轨迹都同等有价值。我的立场是：边界样本的轨迹 > 典型样本的轨迹，多步推理的轨迹 > 单步判断的轨迹。

2.1 优先收集边界样本

明显好或明显坏的数据，质检 Agent 只需要识别表面特征就能给出结论，这类轨迹携带的推理信息极少，训练价值有限。真正有价值的是那些”判断困难”的样本——数据本身存在模糊性，或者质量指标之间存在冲突（比如格式规范但内容有轻微错误）。

这类边界样本的轨迹包含了 Agent 是如何处理模糊性的完整过程，这正是我们希望模型学会的能力。从信息论的角度看，边界样本的轨迹信息熵更高，单条轨迹携带的训练信号更强。

筛选代理指标： 最终决策置信度 < 0.75，或者推理步骤数 > 3，或者出现了”但是”/“然而”/“虽然”等转折性推理节点。

2.2 优先收集多步推理轨迹

单步判断（“这条数据包含敏感词，直接过滤”）的轨迹价值有限，这类规则可以用更简单的方式编码。多步推理轨迹才是重点——比如 Agent 需要先理解数据的意图，再判断回答是否贴题，再检查推理链是否自洽，最后给出综合评分。这类轨迹展示了复合判断能力的实际运作方式。

2.3 收集”改变决策”的节点

在多步推理中，有些步骤会改变 Agent 的中间结论（从”初步判断为低质量”到”重新评估后认为可接受”）。这类决策翻转节点是最有训练价值的部分——它们展示了 Agent 如何处理反向证据，如何更新信念，这正是当前大模型训练数据中最稀缺的认知模式。

---

三、如何设计收集系统

3.1 轨迹格式标准

每条轨迹记录应包含以下结构：

{
  "trajectory_id": "uuid",
  "input": {
    "data_sample_hash": "...",   // 不存原始数据，只存哈希引用
    "task_type": "instruction_following | factual_accuracy | ...",
    "context": "..."             // 质检时的上下文配置
  },
  "reasoning_steps": [
    {
      "step_id": 1,
      "action": "read_field | compare | infer | revise",
      "content": "...",
      "intermediate_confidence": 0.6
    }
  ],
  "decision": {
    "label": "pass | fail | borderline",
    "confidence": 0.72,
    "rationale": "..."
  },
  "metadata": {
    "agent_version": "v2.3",
    "timestamp": "...",
    "verified": false,           // 是否已人工复核
    "verification_result": null
  }
}

关键设计决策： 不存储原始数据，只存哈希引用。这样既解决了数据隐私问题，又保持了轨迹与原始数据的可关联性。

3.2 元数据设计

元数据是轨迹数据可用性的核心。除了基础字段，以下元数据特别重要：

• 任务难度估计：基于推理步骤数、置信度波动范围、决策翻转次数计算
• 能力标签：这条轨迹主要展示了哪类判断能力（事实核查 / 逻辑一致性 / 格式合规 / 复合评估）
• Agent 版本：不同版本的 Agent 能力不同，轨迹质量存在系统差异
• 下游验证状态：事后是否有证据表明这个质检决策是正确的

3.3 质量筛选策略

收集不等于全量使用。建议三层筛选：

1. 自动过滤层：去除置信度 > 0.95 且推理步骤 < 2 的”平凡轨迹”，这类数据训练收益低
2. 多样性采样层：按任务类型、置信度区间、Agent 版本进行分层采样，避免分布偏斜
3. 人工复核层：对置信度在 0.45-0.60 之间的”最高价值边界样本”，抽样进行人工复核，建立黄金标准子集

黄金标准子集的价值不只是训练数据本身，更是用来评估：从这个数据源训练出的模型，在质检判断任务上的能力是否真的在提升。

🔄 [v2 改进] 质检系统偏差审计：在收集前先验证质检 Agent 是否可信

这个方案有一个隐含的大前提：质检 Agent 的判断是可信的。如果 Agent 本身存在系统性偏差（比如对长回答倾向于打高分，或对特定领域的事实判断准确率极低），那么收集它的轨迹只会把这些偏差固化到训练数据里，形成「垃圾进 → 垃圾出」的闭环。

在收集轨迹前，必须先做偏差审计：

Step 1：100 条人工金标准验证 对每类质检任务，构造 100 条人工标注的「金标准」样本，测试质检 Agent 的准确率。如果某类任务的准确率 < 75%，则该任务的轨迹不适合作为训练数据来源。

Step 2：决策一致性检测 对同一样本随机重采样 5 次（temperature > 0），检查 Agent 的决策一致性：

def consistency_score(agent, sample, n_samples=5):
    decisions = [agent.judge(sample) for _ in range(n_samples)]
    majority = max(set(decisions), key=decisions.count)
    return decisions.count(majority) / n_samples

一致率 < 80% 的样本应从训练集中排除——高随机性意味着 Agent 对该样本的判断是噪声，而非信号。

准入标准：

• ✅ 准确率 > 75% + 一致率 > 80%：可收集轨迹
• ⚠️ 准确率 65–75%：限量收集，标注「低可信度」
• ❌ 准确率 < 65%：不收集，优先修复 Agent 本身

Step 3：建立「偏差监控看板」 质检 Agent 的准确率会随时间漂移（模型更新、数据分布变化）。建议每周统计边界样本（置信度 0.45–0.65）的分类分布是否稳定：

• 如果某类别的占比在 2 周内波动 > 15%，触发人工审查
• 设定「质检可信度基线」，只有处于基线以上的时间段的轨迹才纳入训练集

---

四、与现有数据来源的互补关系

我们目前的训练数据体系主要包括两类：论文代码复现（培养科研执行能力）和反向假设生成（培养批判性推理能力）。这两类数据的共同特征是：它们训练的是”做研究”的能力。

质检轨迹数据训练的是另一种能力：数据工程判断力——对数据质量的感知、对模糊标准的解读、对批量数据中异常模式的识别。这是一种在大规模数据生产流水线中不可替代的元能力，但它在现有数据来源中几乎没有覆盖。

更重要的是，质检轨迹数据与其他来源存在一种独特的协同关系：随着模型能力提升，质检 Agent 的判断能力也在提升，产生的轨迹质量也在提升，进而产生更好的训练数据。这是一个真正意义上的数据飞轮，而不是单向的数据消耗。

数据来源	培养能力	外部锚点	可扩展性
论文代码复现	科研执行	论文结论	中（受限于论文数量）
反向假设生成	批判推理	无（纯合成）	高（但存在幻觉风险）
质检轨迹数据	数据判断力	真实数据 + 可验证决策	高（随业务持续产生）

---

五、启动方案：先做什么，验证什么

理想主义的方案死在工程复杂度上。以下是一个可以在两周内启动的最小可行方案：

第一步：选定一个质检任务（第 1 周）

不要试图一次性覆盖所有质检类型。选择一个推理步骤最多、置信度分布最宽的质检任务作为试点——通常这是”指令遵循质量”或”多轮对话一致性”类任务。这类任务的轨迹最丰富，最能说明问题。

第二步：接入最小化轨迹记录（第 1-2 周）

在现有质检 Agent 的推理链输出中增加结构化日志，记录每个推理步骤的 action、content 和中间置信度。不需要改动 Agent 本身的逻辑，只需要在输出层增加格式化。目标：两周内积累 1000 条以上的原始轨迹。

第三步：人工复核 100 条边界样本（第 2 周）

从置信度 0.45-0.65 区间采样 100 条轨迹，组织人工复核，建立黄金标准子集。这 100 条数据的意义不在于量，而在于：

• 验证轨迹格式是否捕捉到了真正有价值的推理过程
• 估计边界样本的正确率（如果 Agent 的边界判断准确率 < 60%，说明这些轨迹可能是噪声而非信号）
• 识别轨迹格式的设计缺陷，迭代格式标准

第四步：小规模训练实验（第 3-4 周）

用这 100 条黄金标准轨迹做一个 SFT 微调实验，在标准质检 Benchmark 上评估效果变化。如果效果有显著提升（即使是小样本），证明这条路是走得通的，可以进入规模化阶段。

验证的核心问题只有一个： 从真实质检轨迹学习，比从等量合成轨迹学习，效果是否更好？

🔄 [v2 改进] 量级扩张路径：三个 Phase 的明确准入标准

原方案的启动方案停在了「小规模实验」，没有给出规模化的路径。以下是一个有明确准入门槛的三阶段扩张计划：

Phase 1（第 1–2 周）：建立金标准

• 目标规模：1,000 条人工复核的金标准轨迹
• 准入标准：质检 Agent 在金标准上的准确率 > 75%（若未达标，先修复 Agent）
• 验证目标：用 1,000 条金标准做 SFT，在内部质检评测集上是否有显著提升（>5% 准确率）
• 失败出口：若提升 < 2%，停止扩张，重新评估数据质量问题

Phase 2（第 1 个月）：验证自动筛选有效性

• 目标规模：10,000 条自动筛选轨迹（置信度 < 0.75 的边界样本）
• 准入标准：Phase 1 验证通过 + 自动筛选样本的人工抽检准确率 > 70%
• 验证目标：10,000 条数据训练的模型 vs 1,000 条金标准训练的模型，性能是否提升（验证扩大规模的收益）
• 关键假设：量的增加能弥补质的下降（自动筛选 vs 人工复核）

Phase 3（第 3 个月）：规模化 + 自动扩增

• 目标规模：100,000 条+
• 准入标准：Phase 2 验证通过 + 建立了偏差监控看板（自动检测分布漂移）
• 扩增机制：引入「自动扩增」——用训练后的模型生成边界样本的对抗样例，再经质检 Agent 标注，形成飞轮
• 验证目标：在多个质检任务类型上的平均准确率，vs 不含质检轨迹数据的基线模型

每个 Phase 的核心原则：不达标准不进入下一阶段。 扩张速度服从质量验证，而不是反过来。

---

结语：现在就开始记录

工程上最大的浪费，往往不是做错了什么，而是没有记录本来就在发生的事情。

我们的质检 Agent 每天都在产生高质量的推理轨迹。这些轨迹不需要额外的标注成本，不需要人工合成，只需要我们开始系统地记录它们。

这个提案的核心主张很简单：在训练数据这件事上，真实系统产生的真实轨迹，比我们凭空想象出来的合成数据更可靠，更有价值，也更容易验证。我们应该从今天开始记录，而不是等到系统更完善的时候。

数据飞轮不会自己转动，但它的第一圈永远是最便宜的。

---

评估闭环

🔄 [v2 改进] 评估闭环：数据工程质量判断 Benchmark

原方案缺少一个独立的、可量化的评估方案，导致「效果是否有提升」这个核心问题无法被明确验证。以下是补充的评估闭环设计：

构造「数据工程质量判断」内部评测集

评测集构造方式：

• 从真实质检任务中抽取 100 条已有人工金标准的样本
• 覆盖三个难度层次：简单（准确率应 > 90%）、中等（目标 75–85%）、困难（边界样本，目标 60–70%）
• 确保三类任务均衡覆盖：指令遵循（33）+ 推理链完整性（33）+ 事实准确性（34）

评测指标：

• 整体准确率：模型判断与人工金标准的一致率
• 边界样本准确率：仅在置信度 0.45–0.65 区间的样本上计算，这是最能说明问题的指标
• 一致性得分：对同一样本 5 次采样的决策一致率（测量模型的稳定性）

基线对比设计

实验组	训练数据构成	预期边界样本准确率
Baseline	无质检轨迹数据	~55%
+质检轨迹（Phase 1）	1,000 条金标准	预期 60–65%
+质检轨迹（Phase 2）	10,000 条自动筛选	预期 65–70%

核心目标：边界样本判断准确率较 Baseline 提升 > 10%。

这个目标对应 Phase 2 结束时（10,000 条数据），从 ~55% 提升到 ~65%+。如果 Phase 1（1,000 条金标准）就能达到 10% 的提升，则证明数据质量远比数量重要，可以相应调整扩张策略。

与外部 Benchmark 的对齐

在条件允许时，同步在以下外部 Benchmark 上验证迁移效果：

• MT-Bench（对话质量评估）：质检判断能力是否迁移到对话质量打分任务
• FActScoring（事实准确性评估）：事实质检轨迹是否提升事实判断能力

如果内部评测集提升显著但外部 Benchmark 无提升，说明存在过拟合到内部数据分布的问题，需要增加数据多样性。

---

原始版本：data-quality-trajectory-as-training-data