数据选择的认知校准：从优化器对齐到步长去偏
当在线数据选择学会感知优化器状态，当推理数据筛选识破步长幻觉——数据工程正在从启发式走向因果推断
今日精选
本期五篇论文呈现一个清晰的趋势：数据选择正在从”拿什么训什么”走向”精确理解每个样本为什么有用”。两篇数据选择工作分别从优化器几何和统计去偏两个角度修正了现有方法的系统偏差；MinerU2.5-Pro 用 43 人团队证明了纯数据工程就能突破架构天花板；π² 展示了从结构化数据到推理训练样本的完整管线；COBOL-Coder 则给出了低资源语言数据建设的编译器验证范式。
1. Two-Stage Optimizer-Aware Online Data Selection for Large Language Models
作者：Fangxin Wang, Peyman Baghershahi, Langzhou He, Henry Peng Zou, Sourav Medya, Philip S. Yu | 机构：UIC 发表时间：2026-03-08（arXiv 提交） 链接：arXiv · PDF
核心发现：
现有的梯度数据选择方法几乎都是为离线场景设计的——先给每个样本打分，排序后选 top-k。但在线微调的现实是：数据流式到达，每个样本的”价值”随训练步骤变化，而真正塑造参数更新方向的不是原始梯度，而是经过 Adam 等自适应优化器变换后的更新向量。
这篇工作把在线数据选择重新定义为一个优化器感知的更新匹配问题：不是给单个样本打分，而是在当前优化器状态下，寻找一个数据子集使得它产生的更新方向最接近目标更新。关键洞察在于，子集构建必须考虑样本间的相互作用和冗余——两个单独看都高价值的样本放在一起可能冗余，反而不如一个高价值加一个互补样本。
算法分两阶段执行：先用几何过滤筛出候选集，再优化组合系数。为了在 LLM 尺度上可行，引入了分解外积梯度表示和针对长上下文的矩阵计算优化。实验表明，在相同数据预算下，该方法在收敛速度和下游任务上持续优于现有在线选择基线。
对数据工作的启示：
在线数据选择不再是”每个样本独立打分”这么简单。如果你的微调管道使用 Adam/AdamW，样本的实际贡献取决于当前优化器的一阶和二阶动量状态。实操建议：在持续学习或流式微调场景下，不要只看单样本梯度范数——考虑引入子集级别的多样性约束，即使牺牲部分”最高分”样本也可能换来更好的整体更新方向。
2. On the Step Length Confounding in LLM Reasoning Data Selection
作者：Bing Wang, Rui Miao, Chen Shen 等 | 机构：阿里云 Apsara Lab 发表时间：2026-04-08（arXiv 提交）| 已被 ACL 2026 Findings 接收 链接：arXiv · PDF · Code
核心发现：
当我们用”自然性”（naturalness，即 LLM 赋予的平均对数概率）来筛选推理训练数据时，直觉上高概率 = 高质量。但这篇论文揭示了一个系统性偏差：该指标偏好推理步骤更长的样本，而非真正更高质量的样本。作者将这一现象命名为”步长混淆”（Step Length Confounding）。
机制很精确：推理链中每个步骤的首个 token 天然具有较低的条件概率（因为要”启动”一个新的推理方向），而步骤越长，这些低概率首 token 被后续高概率 token 稀释得越彻底，导致整体平均对数概率虚高。换言之，naturalness 打分器实际上在度量步长而非质量。
解决方案出乎意料地简单：ASLEC-DROP 在计算时直接丢弃每个推理步骤首 token 的概率；ASLEC-CASL 则用因果去偏回归消除首 token 的混淆效应。在 4 个 LLM × 5 个基准的实验矩阵中，两种方法均有效缓解了步长混淆。
对数据工作的启示：
这是一个警示：看似合理的数据质量指标可能存在与目标变量无关的混淆因子。实操建议：(1) 如果你在用 perplexity 或 naturalness 筛选 CoT/推理数据，立即检查筛出数据的步长分布——如果呈现明显的长步长偏好，就中招了；(2) 更通用的方法论：对任何数据选择指标，都应做一次混淆因子审计——哪些文本表面特征（长度、格式、标点密度）与打分高度相关但与真实质量无关。
3. MinerU2.5-Pro: Pushing the Limits of Data-Centric Document Parsing at Scale
作者：Bin Wang, Tianyao He 等（43 位作者） | 机构：上海 AI Lab 等 发表时间：2026-04-06（arXiv v1）/ 2026-04-09（v2 修订） 链接：arXiv · PDF
核心发现：
文档解析领域的标准叙事是”更好的模型架构 → 更好的性能”。MinerU2.5-Pro 用实验推翻了这个叙事：在完全不改动 12 亿参数架构的前提下，纯靠数据工程将 OmniDocBench 得分推到 95.69，超越了参数量大 200 倍的模型。
论文首先给出了一个关键观察：不同架构和参数量的 SOTA 模型在同一批难样本上表现出高度一致的失败模式。这意味着瓶颈不在架构差异，而在训练数据的共同缺陷。基于这一诊断，团队构建了一个三层数据引擎：
- 多样性 + 难度感知采样：将训练集从 <10M 扩展到 65.5M 样本，同时主动缓解分布偏移
- 跨模型一致性验证：用异构模型的输出共识来评估样本难度并生成可靠标注——模型意见不一致的地方就是难样本
- Judge-and-Refine：对难样本执行”渲染→验证→修正”的迭代标注优化
配合三阶段渐进训练（大规模预训练 → 难样本微调 → GRPO 对齐），实现了架构不变条件下的 SOTA。
对数据工作的启示：
这可能是”Data-Centric AI”理念迄今最有力的工业级验证。实操建议：(1) 在投入精力改架构之前，先做一次跨模型的失败样本交叉分析——如果不同模型错在同一批样本上，数据才是瓶颈；(2) 标注质量审计不要用随机抽样，用模型分歧度作为采样权重，能用更少人力找到更多标注问题；(3) “渲染后验证”的思路可以泛化：任何可执行/可渲染的输出都可以用执行结果反向校验标注。
4. π²: Structure-Originated Reasoning Data Improves Long-Context Reasoning
作者：Quyet V. Do, Thinh Pham, Nguyen Nguyen, Sha Li, Pratibha Zunjare, Tu Vu | 机构：Google 发表时间：2026-04-06（arXiv 提交） 链接：arXiv · PDF
核心发现：
长上下文推理是当前 LLM 的痛点之一，而训练数据的匮乏是核心障碍。π² 提出了一条”从结构到推理”的数据合成管线：从 Wikipedia 表格出发，经过三步将结构化数据转化为高质量的长上下文推理训练样本。
第一步，从 Wikipedia 提取表格并用合成扩展生成新列，扩大数据覆盖面。第二步，基于表格和相关上下文生成需要多跳分析的逼真问题，通过双路径代码执行自动确定和验证答案——同一个问题用两种独立的代码路径求解，答案一致才保留。第三步，将结构化的逐步推理轨迹”反向翻译”为逼真的网络搜索上下文下的问答对。
在 gpt-oss-20b 和 Qwen3-4B 上的实验显示，π² 数据 SFT 平均提升 +4.3%/+2.7%。更值得关注的是自蒸馏效果：gpt-oss-20b 用自身生成的推理轨迹重新训练，性能提升达 +4.4%，说明数据管线本身的结构就足以引导模型自我提升。
对数据工作的启示：
结构化数据（表格、知识图谱、数据库）是被低估的推理训练数据源。实操建议：(1) 如果你有领域内的结构化知识库，可以参考 π² 的管线设计”结构→问题→推理链→逼真语境”的四步合成流程；(2) 双路径代码验证是一个零成本的质量门控——比人工审核快几个数量级，比单路径验证可靠得多；(3) 自蒸馏结果暗示：好的数据管线可能比好的教师模型更重要。
5. COBOL-Coder: Domain-Adapted LLMs via Compiler-Guided Data Curation
作者：Anh T. V. Dau, Shin Hwei Tan, Jinqiu Yang, Nghi D. Q. Bui, Anh Tuan Nguyen | 机构：多所大学联合 发表时间：2026-04-05（arXiv 提交） 链接：arXiv · PDF
核心发现：
COBOL 这个 60 多年历史的语言仍然是全球金融系统的基石，但现有 LLM 在生成正确 COBOL 代码方面几乎完全失败——GPT-4o 的编译成功率仅 41.8%，大多数开源模型甚至生成不了可编译的程序。问题的根源不在模型能力，而在训练数据：公开的高质量 COBOL 代码极度稀缺。
COBOL-Coder 的核心贡献不是模型架构创新，而是一套编译器引导的数据整理管道：先从各种来源收集 COBOL 代码，用实际编译器验证可编译性，再通过多阶段基于相似性的过滤去除冗余和低质量样本。这个管道的关键设计是把编译器当作”免费的质量标注器”——能编译 = 基本语法正确，不能编译 = 直接丢弃。
结果令人印象深刻：COBOL-Coder 在代码生成上达到 73.95% 编译成功率和 49.33 Pass-1（GPT-4o 分别为 41.8% 和 16.4），Java→COBOL 翻译任务达到 34.93 Pass-1（通用 LLM 接近零）。经验丰富的 COBOL 开发者调查也确认了其在企业实践一致性上的优势。
对数据工作的启示：
低资源语言/领域的数据建设有一个通用模式：找到领域内的”自动验证器”作为质量门控。实操建议：(1) 代码领域用编译器，SQL 领域用数据库引擎，配置文件领域用 schema 校验器——任何有形式化规范的领域都可以用执行验证代替人工标注；(2) 相似性过滤在低资源场景尤其重要：数据量本来就少，重复和近似重复会让有效数据更少；(3) 这个案例也说明，领域微调 + 高质量小数据可以大幅超越通用大模型 + 海量低质数据。