数据论文速递 · 2026年09月27日

本期五篇落在同一条线上的不同位置：模型表现的差异，究竟有多少能记到数据账上。两篇讲语料怎么造，MidTool 把工具调用能力前移到中训练阶段的合成语料，ISAAC 给出 5.27 亿条 Reddit 帖子的筛选与审计流水线；两篇讲造完之后怎么查，WeVisDoc 用留出探针定位残差错误再重分配 token 预算，匈牙利三个语言模型项目的审计把污染、配比与遗忘三笔账一次算清；最后一篇给数据侧归因划边界，跨 17 个模型的定点普查显示，重复退化在固定语料下由模型家族决定，去重并不改变类别。

MidTool：把工具调用能力前移到中训练阶段

论文信息：MidTool: Mid-training Data Synthesis for Agentic Tool Use，arXiv:2608.20314，https://arxiv.org/abs/2608.20314（8 位作者）

核心问题：通用工具调用长期被当作后训练阶段的活，中训练阶段缺少专门语料。已有的中训练工作集中在数学、科学这类推理密集型能力，或软件工程场景下的智能体能力，工具使用这条线没人做。

关键发现：MidTool 是一条开放的语料构建流水线，把大规模 web、PDF、code 数据与三类合成监督信号混成 MidTool-Mix——真实工具 API、MCP skills、文档支撑的工作流。设计目标覆盖四项能力：识别工具的可调用性（affordance）、从上下文里落地参数、编排工具调用链、在信息不完整时恢复。作者在 Qwen3-4B-Base 与 Qwen3-8B-Base 上做中训练，之后再分别接 SFT 与 RL 两条后训练路径，在 BFCL、tau2-Bench、MCP Universe 上相对基线一致提升。论文的落点是一句分配建议：工具使用跟数学、科学一样受益于专属的中训练预算，不该整个丢给后训练。

实践启示：做数据配比时，把「能力前移」当成一类独立预算项，而不是把全部增量压到 SFT 数据上。合成工具调用样本要挂真实 API 与 MCP 技能定义，凭空生成的调用序列训出来的参数落地能力站不住。

WeVisDoc：从扩覆盖到补能力的两阶段数据框架

论文信息：WeVisDoc: From Coverage to Capability for Robust End-to-End Document Parsing，arXiv:2609.20423，https://arxiv.org/abs/2609.20423（7 位作者）

核心问题：文档解析的训练语料偏向常见文档类型与干净的数字页面。把覆盖面铺开之后，仍然不知道解析器剩下的弱点具体在哪，也就不知道下一批数据该往哪儿投。

关键发现：两阶段都以数据为中心。阶段一用异质数据加结构保持的退化合成，扩大语义、结构、外观三个维度的覆盖。阶段二留出一组探针，在固定的视觉-结构簇里量化阶段一模型的残差错误，用诊断结果指导两件事：定向构造数据、重新分配目标 token 预算。WeVisDoc-4B 在 OmniDocBench v1.6 拿到 Overall 95.38，在 PureDocBench 三条赛道上均值 75.54，四项设置里都排在所比较的端到端解析器第一位。相对阶段一，阶段二在两条基准上都有增益，退化赛道收益更大，4B 模型在 Real Degraded 赛道上多出 4.03 分。

实践启示：数据扩充做完别急着收工，留一块探针集去量化残差，比继续加量划算。token 预算按诊断结果在簇之间再分配，比按数据源均分有效；退化类样本是低投入高收益的那一档。

Made in Hungary：三个语言模型项目的语料与评测审计

论文信息：Made in Hungary: Comments on the performance of generative language models，arXiv:2609.18284，https://arxiv.org/abs/2609.18284（3 位作者）

核心问题：匈牙利近三年出现三个生成式语言模型项目，动机一致——匈牙利语没有具备相应能力的模型，或以英语为中心的模型在匈牙利语上表现有限。这三篇论文的方法与结论是否经得起复核。

关键发现：三条批评层层递进。第一，评测协议不可靠：按推荐的推理设置重新评测，Qwen3-4B 得分高于它的匈牙利适配版 Racka-4B，与 Csibi 等人的原始结论相反；Yang 等与 Szentmihályi 等两项工作里能查到数据污染。第二，训练流水线在语料策展与数据配比上低于当前最佳实践，又缺受控消融，算力花在低质数据上且无法归因到具体选择。第三，三个项目都没有评估遗忘或能力损失，作者在原始基准的子集上复测，三个适配模型全部出现下降，Racka-4B 最明显。

实践启示：做语种或领域适配，污染检查、配比消融、遗忘评估三项都属于必做项，缺任何一项结论都不完整。「适配后分数变高」这类主张，先换成推荐推理设置复测一遍再采信。

ISAAC：5.27 亿条 Reddit 帖子的模块化语料与人工审计过滤

论文信息：The Illinois Social Attitudes Aggregate Corpus (ISAAC): An Open Tool and Reproducible Pipeline for Analyzing Social Group Discourse at Scale，arXiv:2609.27059，https://arxiv.org/abs/2609.27059（4 位作者）

核心问题：社会群体话语研究长期缺一套统一、可复现的大规模语料基础设施，各团队各建各的，结果难以互相比对。

关键发现：ISAAC 收录 2007 至 2023 共 17 年的 5.27 亿余条英文 Reddit 帖子，按种族、性取向、年龄、能力、体重、肤色六类社会群体区分做相关性筛选。多步、人工审计的过滤流水线把无关内容压到 10% 以下，整体与每一类分别统计都成立。每条帖子再用算法标注用户估计所在地，以及一组语义标签：道德化、情感、情绪、语言泛化。语料效度靠汇聚证据支撑——与搜索行为、重大事件期间的时间尖峰（全国与地区两级）、长期态度漂移对得上。流水线完全公开且模块化，可扩到新平台、新语言、新社会类别。

实践启示：大规模网络语料的「相关性筛选 + 人工审计抽样」应当做成可复现流水线并公开中间产物，别只发成品。无关率按子群体分别报，整体数字会掩盖单个类别上的偏差。

重复退化：跨模型定点普查能裁定什么、不能裁定什么

论文信息：What a Cross-Model Fixed-Point Census Can and Cannot Arbitrate About Repetition，arXiv:2609.29507，https://arxiv.org/abs/2609.29507（1 位作者）

核心问题：神经文本重复退化有两种解释并存——一种把成因放在训练数据里（语料重复导致输出重复，由按重复度排序后的数据训练得出），另一种放在训练出的网络里（复制回路与重复特征）。两种说法都没在一大批现成预训练模型上被裁定过，因为做因果研究的那些工作训的是自己的模型。

关键发现：作者换了一种观测量——模型自身短窗口 argmax 映射的定点结构，17 个现成模型、每个 96 个随机双 token 起点、始终不加提示，四分类结果在 17/17 的模型上跨普查种子稳定。三条结果值得记：在固定语料（The Pile）、固定规模、固定域的条件下，类别不由这些因素决定——两个同等规模档里 pythia 属于 funnel，RWKV、Mamba 与另一个 transformer 家族不属于，且各自跨一个数量级的规模保持类别；去重过的 Pythia 套件不改变类别；此前为解释该现象提出的语料侧流入项，在控制词频后不再选中这些终点，英语与其余三种语言上都成立。作者自己标了边界：这是观测性研究，不能反驳训练干预得出的结论。

实践启示：把输出重复直接归因到语料重复要留余地，固定语料与规模之后，模型家族之间的差别更大。评估去重收益时，测下游重复指标，别拿语料重复率当代理指标。