数据论文速递 · 2026年09月20日

本期概览

本期五篇论文散落在数据链路的不同环节。预训练侧关心数据不够时怎么把每个 token 用足，语料构建侧关心低资源语言怎么凑出能用的训练集，后训练侧关心配比与方法谁先谁后，蒸馏侧关心生成数据有没有被浪费在终止符上，评测侧直接质疑合成数据本身的可信度。五篇的结论有一个共同底色：数据规模变了，最优做法也会跟着变。

Relational Attention for Data-Efficient Language Modeling

论文信息：arXiv:2609.20530 — Relational Attention for Data-Efficient Language Modeling（BabyLM 2026 挑战赛系统提交）

核心问题：数据受限条件下，架构改动与训练目标改动哪个更决定语言模型的泛化能力。严格赛道只给 1 亿词，比常规预训练语料小几个数量级。

关键发现：作者用 Dual Attention Transformer 替换标准自注意力，把对象级（sensory）词汇特征的路由与结构／关系信息的路由分开。关系注意力（RA）在纯关系任务上大幅提升数据效率与分布外泛化，但语言建模要求两类信息做到分离与整合并存，这一点此前很少被验证。1000 万词规模下，full RA 与更简单的 RCA、DisRCA 变体差别不大；到 1 亿词，full RA 才拉开差距。训练侧叠加 Next-Latent Prediction 目标，促使隐状态把历史增量压缩成稠密信念状态。架构是结构性语言泛化的主因，目标是次要但统计显著。作者另提出基于 RoPE 的符号检索机制，不增参数即可匹配学习式符号库。严格赛道上，最佳模型在 55 个提交中总排名第 6、NLP 任务子集第 3，其中一版取得该赛道最高的 EWoK 分数。

实践启示：数据预算紧张时，改架构的收益高于继续堆数据。关系注意力的优势要等数据规模上去才显现，在 1000 万词的小规模评测上做选型会低估它。凡是要靠小规模实验决定是否上某项架构改动的团队，需要把这条规模依赖记进实验设计。

Enemray: Toward Capable Language Models for Hassaniya

论文信息：arXiv:2609.14829 — Enemray: Toward Capable Language Models for Hassaniya

核心问题：哈桑尼亚语（毛里塔尼亚通行语种）几乎没有可用的数字资源，如何在补上语言能力之后仍保住原模型已有的推理、多语、指令跟随与安全行为。

关键发现：整条管线把语言习得与行为特化拆成两个阶段。单独组装的持续预训练语料负责广泛的哈桑尼亚语与毛里塔尼亚文本接触；层选择性持续预训练只学一小组语言相关的参数更新；把这组更新迁回指令微调后的参数空间；再用监督后训练发展对话、文化、文学、任务型与跨语行为。监督语料把公开的哈桑尼亚语与毛里塔尼亚资源整合进一批规模大得多的新建、重建、清洗与构造指令数据，策略生成的 replay 提供来自参考模型自身行为分布的保留信号。评测上，英译哈桑尼亚语超过参与对比的开源与闭源模型，毛里塔尼亚语翻译错误检测总分最高，通用能力保留下大部分。

实践启示：低资源语种的数据工作顺序应当是「先补语料、再补行为」，反过来做会让通用能力塌掉。replay 数据不是可选项，它是把原有行为锚住的那根绳子。层选择性训练让语言更新与行为更新互不干扰，比整模型持续预训练更省也更稳。

SFT or RL for Tool-Calling Agents? A Controlled Study Across Data, Method, and Scale

论文信息：arXiv:2609.17848 — SFT or RL for Tool-Calling Agents? A Controlled Study Across Data, Method, and Scale

核心问题：工具调用智能体的训练数据、适配方法、模型规模三者如何共同决定效果，此前一直缺少跨规模的受控对比。

关键发现：作者在 Qwen3 的 0.6B 到 32B 六个规模上对比 SFT（LoRA）、GRPO 强化学习、以及 SFT 后接 GRPO，评测覆盖分布内表现与跨数据集迁移两类。SFT 配 LoRA 在 0.6B 至 32B 全程是分布内最强方法，18 个设置里拿下 15 个最优。跨数据集迁移上三者更接近：GRPO 在训练与测试数据集不同的 54 个设置里赢下 29 个，但对 SFT 的平均领先不到 1 个点，SFT→GRPO 在两类比较里都极少成为最优。数据集混合把迁移表现拉稳，分布内效果只比专用训练略低，且这一结论与具体用哪种方法无关。附加分析还显示 LoRA 优于全参数微调，原因是 LoRA 更好地保留了预训练阶段习得的智能体行为。

实践启示：数据配比的选择优先级高于方法选择。跨场景迁移优先做数据混合，而不是把 SFT 换成 RL——后者换来的是不到 1 个点的平均收益。LoRA 也不只是省显存的工程手段，它本身扮演了保护预训练行为的角色。

When EOS Tokens Disagree: Understanding Length Inflation in On-Policy Distillation

论文信息：arXiv:2609.20511 — When EOS Tokens Disagree: Understanding Length Inflation in On-Policy Distillation

核心问题：on-policy 蒸馏（OPD）里学生回答会异常变长甚至耗尽生成预算，这个长度膨胀的成因一直没有被定位清楚。

关键发现：作者把原因指向基础学生模型与后训练教师模型之间的终止符失配。即便两者声明的停止集合完全相同，在 Qwen3、Llama、Gemma 三个模型系列上，二者都会把停止概率放在不同的 EOS token 上。这种失配压制了学生偏好的终止动作，又没有可靠地把教师偏好的那个迁移过去。仅对齐解码停止集合不足以解决问题；把功能等价的 EOS token 当作同一个语义停止动作来处理，才在三个系列上都明显缓解失配引发的长度膨胀。按 K2-Horizon 训练阶段做的分阶段分析还显示，终止偏好在训练过程中会发生大幅移动，并且 OPD 后期存在一类独立于终止对齐的长度膨胀，靠对齐终止符消不掉。

实践启示：蒸馏数据管线开工前先核对学生与教师的 EOS 分布，这一步成本极低却常被跳过。长度膨胀不能全归因于终止符，训练后期必须单独监控生成长度曲线，把它当作独立于损失的一个观测项。

Beyond Benchmark Scores: How Synthetic and Authentic Query Distributions Diverge in RAG Evaluation

论文信息：arXiv:2609.14579 — Beyond Benchmark Scores: How Synthetic and Authentic Query Distributions Diverge in RAG Evaluation

核心问题：RAG 系统普遍用从目标语料生成的合成问题集做评测，这套做法在分布偏移下还能不能代表上线表现。

关键发现：作者在一套高校教师信息系统上对比 1851 条由 Gemini Notebook 生成的合成问题与 322 条学生问卷收集的真实查询。合成生成把问题均匀铺满语料，倾向长而详细的问法；真实用户把大部分流量压在少数行政与流程类话题上，问句很短，还会问生成器完全没覆盖的内容。真实查询平均 6.8 个词，合成查询 15.7 个词；真实查询只来自 53 个不同来源，合成问题覆盖 165 个。结果是合成基准上表现很好的配置，在真实查询上明显下滑。按合成查询调优会选出延迟更高的混合检索器——稀疏检索组件对长合成问题有效、对短真实查询无效，代价是最快配置的 8 倍延迟。作者建议把合成与真实查询集当作查询质量光谱的两个互补端点。

实践启示：合成评测数据只能证明检索能力存在，证明不了上线可用。做检索器选型时，调优集的长度分布与来源集中度必须贴近线上，否则会系统性地选出更贵更慢的配置。真实查询哪怕只有几百条，也值得单独维护成一份回归集。

小结

五篇合起来给出一条可操作的排序：先确认数据的规模区间与分布形态，再决定架构、配比与方法的取舍。架构收益随数据规模变化（2609.20530），配比收益高于方法收益（2609.17848），低资源场景的顺序是先语料后行为（2609.14829），蒸馏与评测这两条支线上则各有一处容易被忽略的开销——终止符失配浪费的 token（2609.20511）与合成查询误导出的 8 倍延迟（2609.14579）。