数据论文速递 · 2026年09月22日

本期五篇都落在同一个动作上：动手改数据本身，而不是改模型。一篇给预训练语料补上推理注解，一篇把教育语料按能力重排并做 token 预算，两篇各自把训练子集砍到四分之一以内还跑赢了全量，最后一篇提醒合成数据里能藏东西。

REER-PT：给预训练语料补上被隐去的推理

论文信息：REER-PT: Reverse-Engineered Reasoning for Perplexity-Guided Pre-training Data Augmentation（arXiv:2608.30627，原文链接）

核心问题：标准的下一 token 预测只监督「上下文之后接什么」，把这段续写背后的中间推理留成了隐式信息。算力继续往上堆，训练数据正在变成更紧的瓶颈，而语料里那些「难预测但能从前文推出来」的片段，恰恰是信息密度最高的地方。

关键发现：REER-PT 把反向工程推理（REER）扩展到原始预训练语料：先定位难预测、仍可由前推出的续写，再插入简短的推理注解，把上下文与续写之间断掉的连接补上。注解离线生成与打磨，用困惑度当优化信号，长度约束和目标泄漏约束过滤掉无用或平凡的注解。这个稀疏改写保留原文，仍与标准下一 token 预测兼容，预训练时不需要在线推理 rollout。困惑度下降幅度落在 0.42 到 7.29 之间，注解 13-gram 里只有约 0.05% 与原文逐字重合。两个同为 680M 参数、架构与训练配置一致的模型分别训在原始语料和增强语料上，增强版在若干知识与推理基准上最多高出 2.07 个百分点。

实践启示：值得抄的是「先挑难点再补注解」这个稀疏策略，不是全量重写语料——0.05% 的逐字重合说明改动面极小，下游却照样被推动。困惑度在这里既是筛选器也是验收指标，做语料增强时可以直接拿它兼作筛选与验收，省掉一轮训练验证。

OmniEdu：按能力而非按来源组织教育语料

论文信息：OmniEdu: Open Foundation Models for Learning and Teaching（arXiv:2609.23088，原文链接）

核心问题：教育基座模型要会解题、懂课程结构、能诊断学习者的困难，还能给出教学支持。已有的教育语言模型往往只押解题或只押辅导，训练配比按数据来源或任务类型切分，不按能力切分，四项能力于是互相挤占。

关键发现：指令微调语料整合了 100 多个教育资源与通用指令来源，围绕四项能力组织：学科能力、课程锚定、诊断推理、教学动作与脚手架。处理链路是确定性清洗、语义审计与改写、任务特定的质量打分、带 token 预算的多样性选择、教学式指令指派，产出 69,999 条样本、15.96M 监督响应 token，其中 60,951 条为教育专属。4B、9B、27B 三档都做了微调，教育导向的调优在三组教育基准上随规模一致提升。OmniEdu-27B 在 K12-Bench 上拿到 63.12% EM 与 76.69% F1，MathFish 85.89%，EDUMATH 86.95%，MathTutorBench 的 Scaffold 设置 78.74%，LongTutor 的教学平均分在被评模型里最高，为 3.02。

实践启示：配比表的分组维度换一换就有收益——从「这批数据来自哪个源」换成「这批数据练哪项能力」，挤占关系才看得见。token 预算式的多样性选择把总量约束前置到了选择阶段，比训完再调比例省算力。

VeriSelector：Verilog 数据用四分之一训赢全量

论文信息：Quality over Quantity: Diversity-Aware Data Selection for Efficient Verilog Code Generation（arXiv:2609.22765，原文链接）

核心问题：Verilog 生成数据集里噪声和冗余都不小。已有的数据选择方法每次只处理单一质量维度，不管训练集整体的多样性，也抓不住 Verilog 特有的结构语义——一段代码对不对，和它跟别的样本重不重，是两件事。

关键发现：VeriSelector 把选择写成带约束的双目标子集选择问题，用三阶段近似求解。质量侧走多粒度流程：先用 testbench 仿真验功能正确性，再用 Instruction-Following Difficulty 打分滤掉指令不对齐的样本。多样性侧把 109 维 Verilog 结构特征（AST、CFG、Netlist）与文本嵌入融合，做基于聚类的多样性建模；比例自适应采样按 IFD 排名给每个簇分配配额，并给出可证明的分布保持保证。三个模型、三个基准上，只用 20%–25% 的数据就跑赢全量训练与当前最优基线，性能保留率超过 118%，训练时间省下 80% 以上；平均 Pass@1 相对全量训练高 18.49%–29.43%，相对表现最好的基线高 1.36%–7.95%。

实践启示：仿真验正确性、结构特征做去重，这两层分开算再合成一个配额分配，比单看一个分数稳。可证明的分布保持保证是这套方法能上生产的前提——砍完数据还得说清剩下的子集没把原始分布带偏。

DICS：样本内部的自洽程度，比分布多样性更好用

论文信息：DICS: Exploring Data Intrinsic Consistency for Visual Instruction Selection（arXiv:2608.30209，原文链接）

核心问题：视觉指令数据在快速膨胀，在固定比例约束下挑出最优子集成了瓶颈。已有方法主要看分布多样性或靠启发式过滤，漏掉了单条样本内部的自洽性——图、指令、回答三者之间对不对得上。

关键发现：论文提出样本级的数据内在一致性（DIC）自打分指标，含两个模块：视觉信息一致性（VIC）衡量视觉内容与指令的对齐，回答信息一致性（RIC）衡量回答相对指令的连贯程度。在其之上的 DICS 是自适应选择方法，在不同数据预算下权衡「样本内高自洽」与「全局分布多样性」。实验跨多种数据规模与模型架构，DICS 稳定超过已有方法，只用 LLaVA-1.5-665K 的 25% 就超过全量微调。作者还整理出 DICS-6M 这个 600 万样本的多模态指令语料，把视觉指令选择研究推到了目前最大规模；在这份语料上，DICS 用不到四分之一的训练数据达到了官方 InternVL3-8B-Instruct 表现的 94.52%。

实践启示：多样性指标之外再加一条「样本内部是否自洽」的自打分，成本很低——不需要额外模型，VIC 与 RIC 都从现有信号里算。把它和 VeriSelector 放在一起看，结论是相通的：砍到四分之一仍能赢，说明全量数据里的冗余比直觉更多。

合成数据里的隐蔽偏见：良性文本也能当传输通道

论文信息：Hidden Threat in Synthetic Data: Covert Targeted Bias Injection through Benign Text（arXiv:2608.30619，原文链接）

核心问题：合成数据越来越多地用于训练大模型，安全侧的研究没跟上。subliminal learning 的已有结论说模型会从看似无关的训练数据里继承行为特征，这篇问的是这条通道能不能被主动利用——用语义上完全良性的合成数据，往已对齐的模型里注入定向的社会偏见。

关键发现：作者搭了一条流水线，由未对齐的教师模型在创意写作、代码生成等领域生成经过过滤的合成数据集，拿去微调已对齐的学生模型。实验显示，看着良性的合成数据能充当定向偏见的隐蔽传输通道，学生模型的通用任务能力基本不受影响，偏见却被带了进去。作为防护方向的一个尝试，论文提出基于 log-linearity 的打分对这类看起来无害的合成数据有筛查信号。

实践启示：能力指标不掉，不等于数据干净——偏见注入恰恰是靠「通用能力基本保留」来躲过验收的。外部采购或众包来的合成语料，进训练前值得单独跑一遍筛查打分，只看下游基准分数查不出这类问题。

小结

五篇放一起指向一个判断：数据侧的收益还在，而且大多来自改得少、改得准。REER-PT 只动极少数片段就推动了 680M 模型的知识基准；OmniEdu 换个分组维度就让四项能力不再互相挤占；VeriSelector 与 DICS 各自砍掉四分之三数据还反超全量。合成数据那一篇是反面的：改动看不见的地方，风险也藏得最深。