数据论文速递 · 2026年10月19日

本期五篇落在同一个动作上：给数据本身装一个可度量的刻度，再用这个刻度决定哪些 token 进训练集。长上下文指令数据第一次有了能分解到证据跨度与推理步数的质量坐标；智能体轨迹的策展规则不再由人手写，而是靠成对评判的反馈自己长出来；隐私过滤用公开参考模型的困惑度圈出该屏蔽的片段；影响函数摆脱反向传播，只走前向传播就能给大模型挑数据；原生多模态预训练则用「把图像 embedding 换成无内容 padding」的消融，量出视觉内容在标度曲线上买到了什么。

1. LongForge：长上下文指令数据的四个可计算维度

论文信息：LongForge: Measuring and Improving Long-Context Instruction Data via Evidence-Assertion Reasoning Graphs，arXiv:2610.23167，https://arxiv.org/abs/2610.23167

核心问题：长上下文指令数据的质检通常在生成流水线里一次性打一个标量分，既看不出答案用到了文档哪几段，也数不出推理步数。数据既无法审计，也无法调配。

关键发现：作者把质量重新定义为文档、问题、答案三者之间的对齐结构，先用一个分析器把每条样本反向重建成「证据—断言」推理图，再在图上程序化算出四个维度：广度、深度、正确性、完整性，每一次判读都能回溯到具体证据跨度与推理步骤。用这套坐标量七个主流数据集，暴露出两个此前没被量化的缺陷——广度几乎不随文档长度增长，深度普遍偏低，两者近乎正交。合成器随后把分析器嵌进生成过程：正确性与完整性做硬闸门，广度与深度推迟到训练阶段按实测值做混合配比。两个主干模型上，LongForge-1 与 LongForge-N 在六个长上下文基准上平均领先最强基线 2.2 到 4.7 分；在固定闸门与候选池的受控对比里，单独抬升广度与深度还能再拿 1.16 分。

实践启示：训练数据的结构分布是能当旋钮拧的，不只是事后描述。做长上下文 SFT 时，把预算投到「按广度与深度实测值配比」上，比单纯拉长文档更划算。现有长上下文数据集普遍广而不深，采购或自建前先量一遍，再决定补哪一侧。

2. MetaCurate：让策展规则自己长出来

论文信息：MetaCurate: Evolving Curation Filters for High-Quality Agentic Coding Data，arXiv:2610.23134，https://arxiv.org/abs/2610.23134

核心问题：用智能体轨迹做监督微调能提升编码智能体，但挑样本不能只看跑没跑通。一个被解决的 patch 走的往往是低效推理或多余的工具调用，一条失败的轨迹里也常夹着有用的中间步骤。现有流水线靠规则和人工定性判断来筛轨迹，写这些过滤器要烧掉大量专家时间，靠反复训练和评测去验证改进也很贵。

关键发现：MetaCurate 是个免训练的框架，用成对的大模型评判来进化可执行的轨迹策展过滤器。过滤器排序与评判偏好之间的分歧构成定向反馈，规则、评分细则、聚合策略三者被联合修订。最终产出的过滤器对每条轨迹独立打分，成对比较只在搜索阶段需要。从一张空白过滤器出发，MetaCurate 自主发现了一套策展策略，在没有任务专属手写标准的前提下达到有竞争力的下游表现。在未经策展的轨迹池与 Nemotron v3 SWE 数据集上的受控 SFT 实验里，它以随机选择和人工手写过滤为基线，拿下所有对比方法中最高的平均 SWE-Verified 分数，人工手写规则过滤与搜索成本高出 3.5 倍的训练循环基线都在其下。

实践启示：策展规则不必人写，但要有可执行的表示和一个便宜的评判信号。团队里最贵的那部分人力——资深工程师手写筛选条件——能被成对偏好反馈替代。值得照抄的一点是让终态过滤器保持单条独立打分，线上大规模筛选的开销就此与搜索阶段解耦。

3. Surprise Masking：用公开模型的困惑度圈出该屏蔽的片段

论文信息：Surprise Masking: Private Data Filtering with Model Likelihoods，arXiv:2610.22988，https://arxiv.org/abs/2610.22988

核心问题：对大模型训练有用的数据里往往混着隐私内容或不想让模型学会的信息，这些内容存在被记忆和泄露的风险。整条丢弃会损失有用信息，逐条人工审查又做不动。

关键发现：作者提出 Surprise Masking，一种简化形式的困惑度过滤：拿一个公开可得的参考模型给 token 打似然，找出意外的跨度，只压制这些跨度的学习，样本其余部分照常训练。在合成代码基准上，它的隐私—效用权衡优于常规 masking 与 PII 过滤。微调实验里，给定前缀泄露私有值的近似提取率从 66.3% 降到 2.3%，复现个人编码风格怪癖的比例从 23.6% 降到 1.3%，被评测的编码任务性能没有下滑。用于数据集净化（直接删掉不想要的内容）时，它胜过 DePA 这一针对投毒死代码的困惑度防御；在更宽的凭据与 PII 基准上，专用检测器表现更好。横跨十一种设置，作者发现这一招能否奏效可从「不想要的内容与有用内容在分布上的可分性」预判，代码数据上尤其好用。

实践启示：困惑度过滤不新鲜，新鲜的是把粒度从样本降到跨度——屏蔽而非丢弃，保住了样本里剩下的价值。投产前先做一个便宜的可分性检查：如果不想学的内容和想学的内容在参考模型似然上分不开，这一招就不灵，别硬上。

4. ZOIF：只走前向传播的影响函数

论文信息：ZOIF: Zeroth-Order Influence Function Estimation for LLM Data Selection Using Only Forward Passes，arXiv:2610.15336，https://arxiv.org/abs/2610.15336

核心问题：影响函数为大模型数据选择提供了有理论依据的路径，可用于定位影响样本、模型编辑、调试或高效微调。把它推到大模型规模上有两道坎：十亿量级 Hessian 矩阵求逆不可行，反向传播带来的中间激活显存开销也扛不住。已有的影响函数近似降低了 Hessian 复杂度，梯度计算仍要过反向传播。

关键发现：ZOIF 把影响估计拆成三个不需要反向传播的阶段。第一阶段用零阶估计近似平均代理梯度；第二阶段把逆 Hessian-向量积重构成一个辅助的零阶优化问题，绕开显式求逆；第三阶段沿已算出的参数更新方向做前向有限差分，得到逐样本影响分。实验显示 ZOIF 选出的子集在下游效用上与对比基线持平，部分设置下更优，峰值显存显著更低，总计算时间相当。

实践启示：数据选择一直卡在显存而不是算力上。把梯度换成零阶估计、把求逆换成优化，影响函数就从小批量调试工具变成了能在真实语料上跑的筛选器。对显存紧张、只能跑推理的团队，这条路径比等一张更大的卡更现实。

5. 视觉内容是原生多模态预训练的可扩展锚点

论文信息：More Than Seeing: Vision as Scalable Anchors in Native Multimodal Pre-Training，arXiv:2610.19443，https://arxiv.org/abs/2610.19443

核心问题：原生多模态预训练从零开始，在文本与多模态数据上一起训一个模型。视觉信号怎么改变标度行为，除了看懂图之外还带来什么，此前缺少受控证据。

关键发现：作者做了一组受控的视觉内容消融，横跨不同模型规模与训练预算：把图像 embedding 换成无内容的 padding token embedding，其余保持不动。保留视觉内容改善了图文样本上的文本预测，却没有实质改动给定算力下的最低纯文本损失、模型规模与训练数据的最优配比、以及聚合语言分数——加视觉既买不到语言能力，也不抢语言能力。相对的多模态损失收益随算力近似呈幂律增长。为检验图像理解之外的收益，作者只用文字描述评测空间推理，两种条件下都随模型和数据规模改善。在最大模型的训练过程中，视觉收益在定位、导航、符号规划上最持久，这几类任务需要维持物体构型或组合空间更新；空间关系、几何、物理常识上的收益不稳定。

实践启示：多模态数据配比可以放心加大，它不动语言主干的基本盘，收益随算力按幂律放大。评估口径要注意：聚合语言分数看不出视觉数据的价值，得单独去看定位、导航、符号规划这类需要维持构型的任务。反过来说，如果评测集里没有这类任务，视觉数据的收益很容易被算成零。