数据论文速递 · 2026年10月13日

本期概览

本期五篇论文分布在大模型数据流水线的不同位置：智能体长程轨迹怎么合成、蒸馏用的推理数据怎么随学生能力换血、小模型持续后训练如何拿到分布内的监督、预训练语料里的个人信息会不会被另一种语言问出来、以及科学语料要不要按年份切开训练。放在一起看，五篇都在把数据当作会随训练推进不停改变的量，而不是开工前定死的一张清单。

TerminalHorizon：长程终端智能体的合成数据引擎

论文信息：Scaling Agentic Data for Long-Horizon Terminal Intelligence，arXiv:2610.13166

核心问题：终端智能体正在从本地操作走向真实的专业任务，而短轨迹只能展示命令与工具调用，体现不出「探索积累证据、用证据支撑判断、按反馈调整策略、把中间结果变成交付物」这条完整链条。更麻烦的是，已有的环境合成方法常常在构建阶段就把这些关键工作做完或简化掉，智能体本该承担的探索、实现与验证被提前消解。

关键发现：论文提出 TerminalHorizon，一套全自动的长程终端智能体数据合成引擎。它从真实专业工作出发，用独立执行去识别构建过程中被省略的关键工作，再用这些证据指导环境重建；在同一目标下渐进扩展任务，让新需求建立在先前结果之上，逼出进一步的探索与改进。基于该引擎构建 1.5K 个任务环境，对 Qwen3.5-27B 做监督微调得到 TerminalHorizon-27B，在覆盖编码智能体任务、真实生产环境智能体任务与通用推理的 12 个基准上全部取得大幅提升。每个带 12 小时研究预算的 RSI 案例研究进一步显示，模型能在拿到首个解之后继续实验、按反馈改进方法，并把有效的改进保留在最终交付物里。

实践启示：合成智能体数据时，环境本身的设计决定了轨迹里有没有「真正的工作」。若构建流程把关键步骤替智能体做完了，产出的轨迹在形式上完整、在监督信号上却是空的。可操作的检查方式是跑一次独立执行，比对构建前后的工作量差异，被省掉的那部分正是需要留给智能体的探索空间。

BoundaryEvo：数据随学生能力边界一起进化

论文信息：BoundaryEvo: Data-Model Co-Evolution at the Capability Boundary for Long-Chain Reasoning Distillation，arXiv:2610.13285

核心问题：从大教师模型蒸馏长链推理轨迹，是提升小模型推理能力的有效办法。现有做法在蒸馏前选定一份固定训练集，忽略了样本的有用性会随学生变化。可使用的教师轨迹数量很少时，这份错配代价很高：学生已经掌握的样本带不来新监督，远超学生能力的样本又学不动。

关键发现：论文主张先把基础推理能力立起来，再让训练数据跟着学生的能力边界走。BoundaryEvo 分两阶段推进。Capability Priming 阶段直接蒸馏一小批教师长推理轨迹，不另用模型去判定和过滤，让学生先拿到初始推理能力；Capability-Boundary Co-Evolution 阶段反复筛选「当前学生还没掌握、但专家能稳定解出」的题目，随学生进化更新训练集。只用 1,000 条训练样本，BoundaryEvo 在 11 个推理基准上稳定超过静态与动态数据选择基线：Qwen3.5-4B 在 IMO-AnswerBench 上从 62.9 提到 75.3，在 AMO-Bench 上从 26.8 提到 46.0。代码与数据会公开。

实践启示：「先冷启动再动态选」的顺序值得照搬。学生还很弱的时候，任何依赖它自身判断的选择器都不可靠，此时用少量未过滤的轨迹把能力垫起来，比一开始就精挑细选更有效。进入迭代阶段后，选数据的判据应落到「学生不会、专家会」这个交集上，而不是单纯的难度分数：前者随训练自动移动，后者是静止的。

SynthSelf：小模型持续后训练的合成自蒸馏

论文信息：Continually Post-training Small Models via Synthetic Self-distillation，arXiv:2610.13113

核心问题：持续后训练要兼顾获取新能力与保住旧知识。自蒸馏微调（SDFT）借助上下文示例做自监督来缓解这一矛盾，但它依赖较强的上下文学习与指令跟随能力，在低延迟端侧场景关键的小模型上会失效。

关键发现：论文先定位失效根因：获取效果差与遗忘程度，都与后训练模型的分布偏移呈线性相关，说明分布内学习是必要条件。据此提出 Synthetic Self-distillation（SynthSelf），把 SDFT 的分布内重写外包给一个同族、略大一点点的对齐模型，配合离策略监督与拒绝采样，在给出小模型所需监督的前提下不破坏其原有分布。覆盖 4 个获取数据集（含一份混合集）与 14 个保留基准的评测中，SynthSelf 在 3 个小模型规模上稳定超过 6 种方法，含离策略与在策略蒸馏。

实践启示：自蒸馏因为模型太小而跑不通时，问题往往不在蒸馏目标，而在重写环节的分布错位。换一个同族、略大的模型来承担重写，比硬上小模型自身的上下文学习更划算。这条思路对端侧模型的持续更新尤其直接：分布偏移可被当作一个可测量的预警量，用它与获取、遗忘的线性关系提前判断是否要引入外部重写。

跨语言训练数据抽取：另一种语言也能问出英文语料里的个人信息

论文信息：Cross-Lingual Transferability of Training Data Extraction Attacks to Recover Memorized PII，arXiv:2610.06093

核心问题：大模型中个人身份信息（PII）的保护强度是重要议题，但跨语言的数据抽取风险一直缺少系统评估。论文考察以非英语提示发起训练数据抽取（TDE）攻击时，英语中心模型与多语言模型各自的脆弱性。

关键发现：论文构建一个多域 PII 数据集，包含社交媒体账号、邮箱地址与电话号码，并把攻击上下文翻译成意大利语、西班牙语、法语与德语。结果显示，针对两类模型的 TDE 攻击都能迁移到别的语言：预训练数据里出现的只是英文原文，译文提示照样攻击成功；对译文样本做的网络存在性检查确认这些译文并未出现在网上。英文泄漏在其他语言中被复原的比例，随模型多语言能力增强而上升；而原始措辞一旦丢失，这一比例就急剧下降，哪怕语言没变。这提示原生的多语言预训练会促成潜在跨语言桥梁的形成，让 PII 的检索变容易。激活分析发现，同一提示的不同译文在最相近的表示上被桥接，对齐最强的位置出现在中间层。

实践启示：只做英文侧的清洗与脱敏并不够。多语言能力越强，泄漏面越大，这给数据侧的工作量估算提了个醒：脱敏要覆盖语料里出现过的每一种语言，且不能只按语义去重。措辞丢失会显著削弱泄漏，反过来说，保留原文的重复片段才是风险集中区。评测侧的对齐与净化策略也需要做到语言无关。

SciTBERT：给每一年配一份时间一致的语料

论文信息：SciTBERT: A family of chronologically consistent language models for scientific and technological language processing，arXiv:2610.12207

核心问题：用预训练 Transformer 研究科学与技术进展已成常规，针对论文或专利文本调过的编码器在域内分类、回归与邻近度任务上胜过通用模型。这类模型带有前视偏差与领域偏差，根源在于训练语料的时间和来源分布没有约束，这让它在处理随时间变化的性质与档案性质时不可靠。

关键发现：论文提出 SciTBERT，一组时间一致的 BERT 派生语言模型，训练语料来自科学论文、专利与优质教育类网页文本，训练数据 cutoff 覆盖 2013 到 2025 的每一年；并用论文与专利引用以时间一致的方式做后训练，得到 SciTBERT-CI 系列。即便语料受早年 cutoff 限制、可用训练数据变少，这些模型仍普遍优于此前的领域专用编码器。为检验这类模型能否学到连通科学与技术的表示，论文还提出 PatRepEval，一组面向科学与技术交叉处专利文本嵌入任务的基准。跨越论文与专利的分类、回归与检索任务结果显示，让编码器表示对齐下游任务的领域分布很关键，时间一致的编码器能达到或超过不受时间约束训练的模型。

实践启示：凡是拿语言模型做回溯性、时序性分析的任务，语料的时间边界必须与结论的时间边界对齐，否则前视偏差会混进结果。做法并不复杂：为每个需要的年份训练一份带 cutoff 的模型，成本换来的是结论可解释。这一思路也能平移到预训练数据侧的污染审计，按时间切片的语料本身就是一种干净的对照。

小结

五篇论文给出的共同信号是：数据的价值取决于它处在训练的哪个时刻。BoundaryEvo 让选择跟着学生能力移动，SynthSelf 让监督跟着模型分布走，TerminalHorizon 让合成环境保留该做的工作，SciTBERT 让语料边界对齐结论边界，跨语言 TDE 则提醒我们，训练语料里留下的痕迹会在意想不到的语言里被取回。做数据工作时，把「这份数据现在还有没有用」当成随训练推进反复回答的问题，比开工前一次性打分更贴近实际。