数据工程观察 · 2026年09月25日

本期五条动态指向同一个问题：训练数据留下的影响，能不能被事后干预抹掉、量化或者审计。两篇论文给出了可操作的测量工具，一篇重新划分了大规模标注里人与模型的分工，一篇把前沿基准的「全挂任务」逐条验了一遍证据链，最后一条来自具身智能工程现场，处理人机数据之间的对齐缺口。

1. LeakScale：把「污染是否发生」和「污染值多少分」拆成两件事

事件概述 污染研究大多停在溯源层面，证明评测材料进过训练集就收尾。arXiv:2609.27176 提出 LeakScale，把基准曝光当成一次可控干预，直接估计曝光带来的准确率增益，也就是溯源之外那个一直没人测的量。

技术细节 每个任务家族由公开任务、一把不透明密钥和四个候选值组成，密钥到取值的映射只对该家族私有，无法从公开任务推导。对照组 C0 拿不到密钥，曝光组 C2 拿到，两组在适配前后各测一次。实验交叉两个模型族（Qwen3-4B-Instruct-2507、Gemma 4 31B）与两个可执行域（SQLite、确定性 Python），每域 32 个结构形状、1,024 个家族，合计 2,048 个家族；每个条件×状态单元取 32 次独立种子采样，共 262,144 次生成。适配用 BF16 LoRA，单轮、assistant-only loss。

四个交叉单元的差中差估计全部为正，区间 +7.17 到 +27.31 个百分点，未加权均值 +14.39 点，四条 95% 置信区间都不含零。Python 域 Qwen3 那一行最值得看：C0 从基线 25.55% 掉到适配后 19.81%，C2 从 25.66% 升到 47.24%。脱离曝光的适配本身是负收益，分数几乎全部由曝光贡献。作者也划了边界，这只估计受控曝光流程的效应，不等于自然发生的网页级污染。

对大模型数据工作的影响 去污染流程习惯以「命中即删除」为终点，LeakScale 换了个读数：删完之后剩下的分数里有多少是被曝光抬上去的，现在能估出来。SQLite 域 Gemma 4 31B 是 +12.92 点，Python 域 Qwen3 是 +27.31 点，量级差近四倍，说明「统一扣若干点」这类粗校正不成立。协议本身也能搬到内部评测集上——给每道题配一把私有密钥，训练时只放开一半，就能测出自己的榜单分数有多少依赖曝光。

相关链接：https://arxiv.org/abs/2609.27176

2. Alignment Inertia：先验训练留下的行为，微调未必盖得住

事件概述 平台方习惯用系统提示和微调改写模型行为，但没人测过这些干预到底盖不盖得住先前训练留下的倾向。arXiv:2609.27333 提出 Override Success Rate（OSR）与 alignment inertia 两个指标，专门测这件事。

技术细节 OSR 是政策冲突样本中被干预成功改写的比例，inertia = 1 − OSR。实验覆盖两个安全相关域（医疗谣言、仇恨言论）、两个模型（Llama-3.1-8B、Mistral-7B）、两个政策方向（宽松 B、严格 C），干预手段为零样本系统提示与 LoRA 微调（每域 1,500 条目标政策样本、两个 epoch）。

零样本下惯性在 Policy B 区间为 20.0%–49.1%，没有任何模型/域组合被完全覆盖，方向不对称很明显：Llama-3.1-8B 医疗域 Policy B 惯性 30.6%，Policy C 高达 89.8%。模型已经认定某个医疗说法可接受时，一句更严格的指令只在 10.2% 的冲突样本里改变了判断。

LoRA 的结果反直觉。微调并不总降低惯性，Mistral-7B 四个条件全部变差，仇恨言论 Policy C 恶化 46.5 个百分点、OSR 掉到 11.6%，比 Llama 同条件的 −26.7pp 更严重。该条件下 neither 子类 127 条冲突样本有 99 条保留原判断，子类 OSR 只剩 5.1%，而仇恨与侮辱子类分别是 75.0% 和 79.2%。朝更严格方向微调出来的模型，反倒在低严重度内容上更难推翻自己原先的宽松判断。

TRAK 归因（训练样本 1,500 条、投影维度 512）显示惯性样本获得的适配样本影响力系统性低于被覆盖样本，8 个条件里 7 个 AUC ≥ 0.85，且高于置信度、TF-IDF 余弦、嵌入相似度三个基线。唯一的例外是 Mistral 医疗 Policy B（AUC 0.462），成因是训练池在 n=527 条时耗尽、标签严重偏向 REMOVE，把 TRAK 需要分辨的梯度方向搅散了；同模型 Policy C 只有 515 条，AUC 仍有 0.909。

对大模型数据工作的影响 两个读数可以直接用。一是后训练数据池的标签分布会决定归因工具是否可用，医疗 Policy B 那个池子只凑到 527 条（目标 1,500），就把 TRAK 的 AUC 打到 0.462，做影响力分析前先查池子够不够、标签均不均。二是「微调会覆盖先验」不能当默认假设，Mistral 全条件恶化说明这个关系是模型特定的。对齐数据配比阶段按子类拆开看 OSR，比看整体准确率更能定位哪批数据没起作用。

相关链接：https://arxiv.org/abs/2609.27333

3. 跨模型分歧定位 codebook 缺陷，把半年的标注周期压到几天

事件概述 大规模文本标注依赖 codebook，而一份能用的 codebook 通常要磨几个月。arXiv:2609.26926 的做法是让多个 LLM 先跑一遍初版 codebook，把它们分歧最凶的样本挑出来，只请专家看这些样本，再用专家反馈驱动 codebook 修订。

技术细节 基线是真实的专家主导项目：两位专家先用两学期、每周 Zoom 开会讨论分歧、修订编码规则，磨了六个月才定稿，标注对象是数千条辅导对话转录。实验拿最早的初版 codebook 出发，比较三种专家反馈方式——Codebook Verifying（专家编辑 LLM 基于分歧样本生成的修订）、Question Answering（专家回答 LLM 就分歧样本提的问题）、Rationale Labeling（专家标注分歧样本并写明理由，由 LLM 据此改写 codebook）。

以六个月磨出来的专家版 codebook 为对照，Rationale Labeling 拿到最高的 LLM 标注准确率 64.9%、加权 F1 0.658，超过专家版 codebook 的 57.8% 与 F1 0.583。Question Answering 的最好设置也超过了专家版，准确率 60.5%、F1 0.613。差距来自专家投入的位置：不是让专家重写规则文本，而是让专家在模型真正拿不准的样本上给出带理由的判断。

对大模型数据工作的影响 这条改变的是标注预算的分配方式。专家时间从「通读语料、讨论规则」改成「只判分歧样本、给出理由」，六个月压到几天，端到端质量还略高于人工定稿的 codebook。做 LLM 标注流水线时，值得先跑一遍多模型打标、按分歧度排序，把 Top-K 分歧样本送人工，而不是均匀抽样送审。附带的一点提醒是评估口径：作者用准确率与加权 F1 双指标，因为分歧样本本身分布不均，只看准确率会掩盖边界类的退化。

相关链接：https://arxiv.org/abs/2609.26926

4. 前沿基准的「全挂任务」：125 条里只有 78 条站得住

事件概述 前沿基准需要当前模型解不出来的题，但零通过率既可能来自真实能力缺口，也可能来自缺失上下文、参考解坏了、环境故障或者能绕过的验证器。arXiv:2609.26826 用一份冻结的 Terminal-Bench 3 / Frontier-Bench 0.1 生产记录，逐条审了那些「无人通过」的任务。

技术细节 语料快照含 1,081 个 pull request、639 个已评分任务、28,801 次试验、105,933 美元已记录 agent 开销。作者锁定其中 125 条零诚实通过的任务，把任务工件、参考解运行、空解对照、对抗性试验、轨迹、遥测与评审记录拼在一起，过一遍有序有效性筛查：先问作者的参考路径是否失败，再问基础设施是否主导了失败，接着查有没有独立绕过证据，最后看参考运行是否全通过，命中第一条规则即定类。

结果是 78 条活下来成为 certified-unsolved 候选，其余 47 条里 14 条参考解损坏、8 条由基础设施故障主导、4 条只能靠绕过验证器通过、21 条现有证据不足以证明其可解。作者强调这个标签很窄：它只说明作者路径能跑通、基础设施没主导、没观察到严格绕过、所有受评 agent 都失败了，并不证明内在难度。

对大模型数据工作的影响 把「未饱和」当成「真难」是基准数据集最常见的读法错误，这篇给出了具体的错法清单与比例——37.6% 的零通过任务拿不出站得住的证据。做基准语料与评测集维护时，可以参考这套有序筛查：空解对照与参考解回放是两条成本不高但能挡掉大半误判的通道。对训练数据侧，这提醒的是拿基准分数反推能力时要先看证据链，尤其是那些花掉真金白银的 agent 轨迹数据，105,933 美元里有多少落在坏题上值得单独算一笔。

相关链接：https://arxiv.org/abs/2609.26826

5. 灵初智能 Psi-R2.5：把人机「弱配对」数据升级成「强配对」

事件概述 具身智能领域长期用人类示范做训练材料，但人手与机械手的关节结构、接触摩擦不同，姿态估计还有误差，一段人能顺利完成的动作转成机器人关节运动未必还能成功。灵初智能在 Psi-R2.5 上换了个方向：不再从人类操作出发生成机器人轨迹，而是反过来，从真实机器人数据出发生成对应的人手数据。

技术细节 团队把人机执行相似任务、仅在任务语义上对应的数据称为「弱配对数据」，希望拿到的是另一种对应关系——除本体不同外，两侧场景基本一致、动作时序逐帧对应，且机器人一侧的动作能在真机上直接回放成功，即「强配对数据」。今年 4 月的做法是用 Psi-R2 配合世界模型 Psi-W0，靠轨迹推演加强化学习把人类操作转成可执行的机器人数据，流程涉及多模型协同与策略优化，生产偏重。这次逆向使用 Psi-W0，以真实机器人操作的图像和动作为起点生成匹配的人手数据，再拿这批高质量配对数据训练端到端转换器：输入人类操作数据，输出匹配的机器人图像与动作。这不是决定下一步做什么的策略模型，而是带动作输出的视频编辑模型，产出必须同时包含机器人可用的动作数据。

验证走两条路：把转换后的轨迹直接在机器人上回放，看能否完成相同任务；再把转换后的数据用于后训练，看训出的模型能否完成相关任务。判断标准从「生成的视频像不像」换成「数据能不能支持实际操作」。团队也说明部分特别复杂的任务仍未直接完成。

数据组织层面一并做了调整：减少同一任务的重复堆积，增加任务多样性，用自动标注管线把任务拆到更细的原子动作再标注审核。在十万小时级积累之上，手机盒装配这个多步骤、要求精细度的任务，经人工参与加强化学习的后训练框架几轮迭代后，成功率约 99%，耗时 1–2 个工作日。团队定位也很明确：预训练的意义不是让后训练消失，而是让后训练需要的数据更少。

对大模型数据工作的影响 「数据价值不能只按小时算」是这条最值得转译的一点。十万小时级积累之外，团队实际调的是配对粒度与任务覆盖度——同一任务的重复样本被主动削减，原子动作级标注被补上。做 VLA 或机器人数据管线时，配比维度应从时长转向「可执行回放成功率」与「原子动作覆盖数」这类可验证指标。逆向生成这条路还有第二重用途：同一套转换能力可以把人类示范转成机器人侧参考，直接当上下文示例喂给已训好的模型，示范不必再走一遍训练流程就能影响行为。

相关链接：https://www.qbitai.com/2026/09/496778.html