数据工程观察 · Vol.151

数据工程观察 · 2026年10月18日

本期五条：蛋白质设计系统的两类只动数据的语料投毒、TimeCap 用确定性管线换可复现标注、MSP 在没有配对跨模态数据时能补回多少、随机特征 Bigram 模型把 Scaling Law 拆成容量项与采样项、INCONVENIENT 把便利抽样偏差摆到无法从数据内部修正的位置。

2026年10月18日数据工程数据投毒语料安全数据标注可复现性多模态数据合成 Scaling Laws 数据选择分布偏移数据质量训练数据

本期五条围着同一串问题展开：一份语料在送进训练之前，有没有被人动过手脚、能不能被别人原样重算一遍、缺的那一半用什么顶上、配多少模型容量才不吃亏、它代表的那群人到底是谁。arXiv 最新一批（Fri, 16 Oct 2026）里，有团队只改数据不改模型，在两个三亿参数的蛋白质语言模型上装成了后门，末段集中投毒时两百条样本就够；有团队把可穿戴时序的 caption 生成从语言模型手里拿了回来，换来一条可复现、可审计的标注流水线；加州大学河滨分校与亚马逊的联合工作证明，跨模态配对数据缺失时，代理文本能补上大半的跨模态结构；Concordia 与 Mila 的一篇理论工作把 scaling law 拆成容量项和采样项，指数由语料的 Zipf 尾部决定；还有一份两百数据集的新基准，把「便利抽样」造成的偏差摆到了无法从数据内部修正的位置。

蛋白质设计系统的语料投毒：两条只动数据的攻击路径

事件概述：作者不动模型、不改训练代码，只在数据侧动手，测了两条路径——预训练语料投毒与检索语料投毒。预训练侧用 ProtGPT2 和 ProGen2 的两个三亿参数变体，语料取自 UniRef50，每个配置固定跑 12 亿 token（约合 2.4 个 epoch，作者自陈低于三亿参数模型的最优 token 量）。检索侧往一个含 712,248 条「文本—蛋白」配对记录的支持语料里插入普通记录。

技术细节：触发器取两条有生物学意义的肽（chlorotoxin 与 p53 相关肽），载荷取三种，包括多聚丙氨酸、chlorotoxin 串联三拷贝和白喉毒素衍生序列，共六种触发器—载荷组合。判定指标是 ASR-90，即生成序列的前若干个残基里至少九成复现植入载荷（多聚丙氨酸要求 50 残基中命中 45）。注入分两种排程：uniform 全程恒定 1%，ramp 把毒样本堆到训练末段、总量只占 0.1%。uniform 下 ProtGPT2 的六个组合在约 3,000 条毒样本之前 ASR-90 恒为 0，在 5,000 到 12,500 条之间激活——chlorotoxin 那一对在 7,505 条时是 1%、约 10,000 条时跳到 95%，p53 触发器那一对在 10,000 条时只有 5%、约 12,500 条时才到 81%；ProGen2 激活更整齐，约 5,000 条时已到 74–91%，7,505 条时 97–99%。ramp 下所需剂量低一个数量级：ProGen2 的 chlorotoxin 组合在仅 200 条时就有 51%，其余 QK 载荷 400 条过半；p53 那一对 400 条时 59%，其余载荷 700 条过半；ProtGPT2 集中在 500 到 1,000 条之间，chlorotoxin 与白喉毒素在 500 条时是 5–41%，700 条时升到 57–77%，多聚丙氨酸要到 1,000 条才分别到 80% 和 74%。中毒模型对目标载荷的 teacher-forced 困惑度接近常数，未触发提示上的行为大体保留。检索侧，一条按请求定制的记录能在最多 97% 的请求中占据 top-16 的某个位置；在检索命中的前提下，62% 的请求产出了被改写的序列，按 profile-HMM 同源性判定有 19–26% 拿到了插入的结构域，而 730–744 条未编辑的生成里该结构域出现次数为零。

对大模型数据工作的影响：剂量—激活曲线给「清洗阈值该定在哪」提供了具体刻度，比例高低不是关键变量，投毒出现的训练阶段才是。uniform 下 1% 恒定比例要几千条才激活，ramp 下总占比只有 0.1% 却在两百条时见效，这类时间分布特征在数据审计里目前几乎没人看。检索侧的结果把风险面从训练语料扩到了线上知识库，只审训练集的团队会被这一条漏掉。

TimeCap：把 caption 生成从语言模型手里拿回来

事件概述：时序语言模型缺的不是信号，而是「有信号依据、可复现、可跨模态与跨 schema 扩展」的文本配对语料。现存配对语料要么闭源，要么规模和模态覆盖有限；用大语言模型标注能上量，但输出无法精确复现，别人既不能重算，也不能审计或扩展。作者给出 TimeCap，一条生成回路里不含语言模型的确定性 captioning 管线，并基于斯坦福 My Heart Counts 的 OpenMHC 队列发布了配对 caption 层 MHCap。

技术细节：管线按通道家族配置统计聚合，连续的运动与能量通道用默认聚合器取均值、最大值、最小值和标准差，心率走非零聚合以免被零值拉偏；睡眠与运动标签通道走语义区间提取和跨通道合成；模板库给每个注释族准备了多个确定性变体，在保持底层信号内容不变的前提下引入受控的语言多样性。数据清洗规则明确：七个连续通道全零或缺失超过 30 分钟判为非佩戴，一天需至少 12 小时佩戴估计并通过逐通道方差阈值，一周需七天中至少五天合格——11,894 名可共享参与者过滤后剩 2,081 名；逐日零心率置为缺失，缺失值一律不插补，可用性从缺失掩码里读得回来。效果上，加入 caption 监督的 OpenTSLM 在 32 项用户级二分类评测中有 29 项优于只带标签的基线，增益最大的出现在零样本临床任务上。管线以 MIT 许可开源，并在 WESAD 上给出 WESADCap 作为跨 schema 可扩展性的实例化。

对大模型数据工作的影响：把「标注可复现」当成一等需求，代价是放弃一部分词汇多样性。作者自曝两个未做的对照——同一批信号交给大语言模型生成的 caption、把信号渲染成图后交给前沿视觉语言模型生成的 caption——因此确定性换掉的多样性究竟值多少，目前没有数。作者也点明缺一个逐通道可用性闸门，零填充时段仍会被当成事件写进 caption。队列构成一并写在了附录：中位年龄 39 岁，报告生物性别者 77.1% 为男性，报告族裔的 31.7% 中 82.4% 为白人，约九成来自美国、一成来自英国、来自中国香港的不到 1%，一半参与者贡献不足一周数据，13.1% 至少贡献一年。这类自陈偏差清单值得语料发布方照抄一份。

MSP：没有配对跨模态数据时，代理文本能顶多少

事件概述：多模态大模型的扩展越来越卡在配对数据上——贵、难以覆盖新的模态组合。作者提出 Modality Self-Play（MSP），训练时不要求视觉与音频同时出现，而是让模型在看到某个锚定模态后生成另一模态的代理文本描述，用这段描述当语义桥完成跨模态对齐，锚定模态在样本间交替。

技术细节：两阶段训练，Phase 1 只训逐模态 projector，Phase 2 做 self-play 组合训练。消融给出三档：Phase 1 单独在 AVQA 上 70.21、MUSIC-AVQA 上 45.75；加上 QA 监督但不用代理也不用桥接，升到 77.46 和 55.18；完整 MSP 到 85.58 和 65.65——QA 监督贡献 +7.25 和 +9.43，组合机制贡献 +8.12 和 +10.47。在 Qwen3 4B 的小规模对照里，全配对训练的上界是 87.45，MSP 拿到 86.00，交错单模态（每样本只给一个模态、另一槽位留空）81.46，纯视觉 80.72，纯音频 75.35。测试时的代理质量直接决定表现：真实音频 85.58，由真实视觉想象出的场景 grounded 代理 81.19，只从问题派生、什么都没观测到的代理 76.15；六处性能下降全部显著（配对 McNemar，p < 10⁻⁶）。token-matched 控制里还出现一个反直觉结果：配错了内容的真实特征，比高斯噪声和打乱后的特征伤害更大。在去偏重切分的 MUSIC-AVQA-R 全量 211,572 题上，head 部分 67.26、tail 部分 47.76、整体 60.49，多数类基线分别是 35.60 和 31.67。

对大模型数据工作的影响：代理文本是训练期的脚手架，信息保真度不及真实配对，但把「缺配对」从阻塞项变成了一项可量化的损失——完整配对上界与 MSP 之间差 1.45，MSP 与交错单模态之间差 4.54，后者才是真正被省下来的那一档。测试时代理质量的落差说明，这类方法的上限仍绑在生成代理的模型上；错配真实特征比噪声更伤这一点，对「宁可留空还是填个近似的」给出了明确答案。

随机特征 Bigram 模型的精确 Scaling Law：容量项和采样项分开算

事件概述：Concordia 大学与 Mila 的工作用一个可解析的玩具模型隔离出「纯表示容量」造成的 scaling：bottlenecked bigram 模型，token 边际服从指数为 α 的 Zipf 分布，固定随机嵌入充当宽度为 N 的显式瓶颈。作者把 regret 拆成两部分，B 是表示容量受限带来的偏差，V 是有限样本带来的方差。

技术细节：三种区制给出三种闭式。超临界 α > 1 时 B ≃ C_α N^{-(α-1)}，常数 C_α = 1/ζ(α)·[π/(α sin(π/α))]^α；临界 α = 1 时 N = o(d) 分支给出 B ≃ (A/log d)·log(d/N)，其中 q 由一个形如 N = Σ q/(q+i) 的不动点方程定出；亚临界 α < 1 且 N = o(d) 时 B 趋于常数 A，也就是继续加宽不再换回收益。方差项 V = (1-A)(1-ψ)·d/n，宽度 N 长得太慢时，这一项不会随 N 增大而消失。把 N 写成 γ d^β 的规范化形式后，β = 1 对应 N 与词表规模同阶，β ∈ (0,1) 对应次线性宽度。实证在合成 Zipf 数据、WikiText-2 和 OpenWebText2 上做，词表规模与样本量取 d = 10³/n = 10⁵ 和 d = 10⁴/n = 10⁶ 两组，经验曲线与定理预测吻合。

对大模型数据工作的影响：给「配多少模型容量才配得上多少数据」一条可算的下界，并把 scaling 指数的归属说清楚了——它不完全是模型属性，而是词表规模、语料 Zipf 尾部与容量三者的联合产物。α = 1 附近词表相关的归一化会改变 scaling 行为，这一点对任何会改动 Zipf 尾部的操作都有直接含义：词表裁剪、去重、领域配比调整，改的都是 α 与 d。作者把固定随机嵌入列为待替换的下一步，学到的嵌入、更长上下文、有限优化预算会怎样改写这几条律，目前没有答案。

INCONVENIENT：便利抽样的偏差，从数据内部修不回来

事件概述：表格预测模型默认训练数据代表部署总体，现实里数据常按便利、可得性或成本收集，带来系统性抽样偏差，扭曲特征与目标之间的关系。现有分布偏移基准多靠自然出现的域切分构造 OOD，这种做法会改变 P(Y|X)，但变化既不受控也不隔离，评测分布本身也未必代表目标总体。作者给出 INCONVENIENT，专门研究对便利抽样偏差的鲁棒性。

技术细节：基准含 200 个数据集（80 个回归、120 个分类），约 15,500 个保留下来的偏移变体，每个变体都要跑一次 IID 训练和一次 OOD 训练，并配 20 次超参数搜索。偏移由三种操作构造——amplify、attenuate、flip-sign——外加严重度旋钮、特征重要性分箱和最小比例门槛。偏移的结构性后果被量化：回归任务上三种操作带来的相对变化中位数分别是 26%、61%、55%，分类任务上是 109%、107%、104%；扰动沿特征空间的相关结构扩散，而不是停留在被改动的那一个特征上。作者逐一清点鲁棒性工具箱后给出结论，多数方法要么不适用要么可证明不充分——它们各自依赖多环境、组标签、目标域样本或可纠正的选择机制，而便利抽样场景按构造把这些信息来源全部拿走了；验证集同样抽自同一份有偏样本，也没有可用的未标注总体数据。

对大模型数据工作的影响：把「训练数据代表性」明确成一个无法从数据内部自愈的问题，纠偏必须来自数据之外，比如对特征含义的预训练知识。对做配比和重采样的团队，这是一份前提清单：逆概率加权、域对抗、重要性加权这些方法的使用条件，得先在数据侧写清楚再谈调参。两百个数据集、约 15,500 个变体、每个变体两次训练加 20 次搜索的规模，也给「分布偏移基准该怎么验收」立了一个新的成本标尺。