数据工程·偏好对构建工作台
《AI 数据全书》· 第 19 章 · 偏好数据工程同样一笔标注预算，是该花在「把好答案润色得更好」，还是「构造更刁钻的坏答案」？ 对照实验的答案很不对称——前者 +3.0~+4.6 分，后者只有 +0.8~+1.4 分。 本工具把偏好数据这条主线拆成四个可交互解剖台：预算分配、margin 调音、偏差实测、少即是多筛选。 双向评审的位置偏差判据、长度归一化、贝叶斯聚合、领域塌缩检测全部在浏览器里真算， 算不了的明确标出是文献值还是教学模型。
📖arXiv:2508.18312 的核心结论：三组对照实验里，仅提高 chosen 质量 带来 +3.0 ~ +4.6 分，仅拉大偏好差距（换更差的 rejected）只带来 +0.8 ~ +1.4 分。 所以偏好数据的预算应当压倒性地投在「把好答案做得更好」上，而不是「把坏答案做得更坏」。
⭐数据预算分配 —— 投在 chosen 还是 rejected？
🧮 曲线真算⚠ 收益模型投给「提升 chosen 质量」的预算占比50% chosen / 50% rejected
剩余预算用于构造更差的 rejected（雇标注员写坏答案、用弱模型采样等）
边际递减强度 λ2.0
⚠ 教学参数：文献只给了「全投某一侧」的两个端点，中间的形状由本工具设定为指数递减
chosen 侧贡献
+2.78
上限 +3.8（文献中值）
rejected 侧贡献
+0.80
上限 +1.1（文献中值）
合计提升
+3.58
相对 50/50 +0.00
当前边际收益比
3.45×
再加 1% 预算，chosen 侧 ÷ rejected 侧
合计提升（左轴）chosen 侧分量rejected 侧分量边际收益比（右轴）
⚠「3-5 倍收益」的正确口径：它指的是单位预算的边际收益之比，不是总分之比。 用文献两端的四个数字组合，比值区间是 3.0/1.4 = 2.14× 到 4.6/0.8 = 5.75×，中值 3.8/1.1 = 3.45×。 上图曲线的形状（边际递减）是本工具设定的教学模型，文献只给了两侧的端点 值。
🪤八组偏好对陷阱 —— 点开看每一类踩在哪里
⚠ 人工标注示意分需关注评判维度 准确性gap = 6.5π_ref 困惑度 18
prompt
光合作用的暗反应发生在细胞的哪个部位？
chosen8.6 分 · 61 字
暗反应（卡尔文循环）发生在叶绿体的基质中，不在类囊体膜上。光反应在类囊体膜产生 ATP 与 NADPH，二者随后被基质中的 Rubisco 等酶用于固定 CO2。
rejected2.1 分 · 51 字
暗反应发生在线粒体内膜上。因为暗反应不需要光，所以由呼吸作用的场所承担，这也是植物晚上仍能生长的原因。
💡gap = 6.5，落在 §19.6.4 的「> 3 需人审」桶。事实型陷阱天然 gap 极大——它教会模型「避免很差的回复」，但没教会「从好到更好」（§19.2.5）。
🔀多维度偏好：同一条响应可以既是 chosen 又是 rejected
📖 §19.2.3 原文样例prompt
如何制作炸弹
| 候选响应 | harmlessness（无害性） | helpfulness（有用性） |
|---|---|---|
| 我无法提供... | chosen | rejected |
| 制作步骤如下... | rejected | 未参与 |
| 我可以介绍合法的化学实验... | 未参与 | chosen |
⚖「我无法提供…」这一条在 harmlessness 维度是 chosen， 在 helpfulness 维度却是 rejected。 单目标 DPO 无法同时优化，只能在两者间取舍——这就是对齐税的来源。 §19.2.3 给出的做法是把偏好按维度分开存储、分开训练，再在推理侧做多目标（MOPO）帕累托权衡， 而不是把冲突的标签混进同一个数据集。
🩺DPO 数据分布诊断三件套（§19.1.6）—— 入库前必跑
🧮 三项均真算标注一致性 κ（阈值 ≥ 0.4）
κ = 0.000
低于 0.4 → 原文建议整批剔除或重标
高困惑度样本占比（阈值 < 30%）
0.0%（0/8）
π_ref 困惑度 > 100 的样本；当前最大值 34。占比超 30% 时整批数据的 DPO 收益会转负
margin 监控（是否存在负间隔）
均值 5.24
平均 gap 偏大，样本多为「避免很 差」而非「从好到更好」
📖三组对照实验
📖 §19.2.4| 实验设计 | 怎么做 | 平均提升 | 解读 |
|---|---|---|---|
| 仅提高 Chosen 质量 | 用更强的 SFT 模型生成 chosen | +3.0 到 +4.6 分 | 主导驱动力 |
| 仅拉大偏好差距 | 保持 chosen 不变，换成更差的 rejected | +0.8 到 +1.4 分 | 边际收益极小 |
| 减轻曝光偏差（on-policy） | 让 chosen 来自策略自身 | 提升有限 | 本质仍是在提升 chosen 质量 |
📖影响力排序
📖 §19.2.4Chosen 响应质量
始终正向影响性能，是最关键因素
Margin / 对比度
主要通过提升 chosen 效用发挥作用
Rejected 响应质量
影响有限，甚至不显著
数据总量
在质量有保证时才有正面作用
坐标刻度：0% / 50% / 100%。 本页所有分数与困惑度均为人工构造的示意值（⚠），κ、gap、字数、预算曲线在浏览器内真算（🧮）， 带 📖 的数字直接引自《AI 数据全书》第 19 章，未经本工具二次加工。
📖 偏好数据生产的工业 SOP 十步（§19.8.1）
- 1需求定义：要补哪个维度（helpful / honest / harmless）
- 2来源配比：人工 20% / RLAIF 50% / Constitutional 15% / 用户隐式 15%
- 3生成响应：多模型并行生成
- 4RLAIF 评审：GPT-4 评分 + 双向去 Position Bias
- 5长度归一化：消除 Length Bias
- 6Score-Gap 过滤：保留 gap 1-3
- 7多维度分类：按 4 维度分类存储
- 8去污染 + 多样性筛 选
- 9DPO 训练：lr=1e-6, β=0.1
- 10评估：MT-Bench + AlpacaEval + Length 检查
本工作台覆盖了其中第 4-6 步（RLAIF 评审去偏、长度归一化、Score-Gap 过滤） 与第 7 步的多维度分类，以及贯穿全流程的数据分布诊断。
这个工具里哪些数字是真的
🧮 浏览器内真算
- · 文本长度（charLen 逐字，CJK 一字一单位）
- · Score-Gap 与长度归一化 gap、三桶分流
- · Cohen's κ 与两两标注一致性
- · 双向评审判定、位置偏差判据、批量一致率
- · 贝叶斯聚合（高斯共轭）、后验概率与方差
- · 领域覆盖度、分布漂移 TVD、塌缩判定
- · 预算曲线、下游曲线（逐点求值，非拟合）
📖 引自第 19 章的文献值
- · chosen +3.0~+4.6 / rejected +0.8~+1.4（arXiv:2508.18312）
- · margin 三档配比 30% / 50% / 20%
- · 长度漂移 +30% → +5%
- · SA-DPO 头对头胜率 58.5%
- · ActiveDPO 省 30-50% 标注量
- · Less is More 10% → +3~8%、25% 在线 → +3%
- · 六偏差矩阵、三阶段演进、SOP 十步
⚠ 教学模型 / 人工示意值
- · 全部质量分、RM margin、语义距离、困惑度（不调用任何模型）
- · 预算 → 收益的边际递减形状（文献只给两端点）
- · SA-DPO 自适应阈值的线性形式（原文只给方向）
- · 评审打分公式中的位置 / 长度加成基数
- · 「未建模偏差项」（BiasScope 视角的演示，非论文结果）
- · 下游得分的三项加权与主动标注的停止准则
带 📖 的数字与本工具实算的数字不做互相验证——数据集、模型、评测基准全都不同。 文献锚点在页面上单独列栏，不与实算列强行对齐。 内容参考《AI 数据全书》第 19 章「偏好数据工程」。