数据论文速递 · 2026年09月23日

本期五篇都落在同一个问题上：训练数据该留下哪些、该标注到什么粒度。三篇给出了可直接搬用的工具或资源，两篇给出了选择 token 的依据。

FineWeb-CLaR：给 30.9B 文档挂上文化-语言-地区标签

论文信息：FineWeb-CLaR: Culture, Language, and Region Annotations for Benchmark-Aligned Corpus Auditing，arXiv:2609.25298

核心问题：网页语料通常只按语言组织，文化评测基准却按语言、地区、地方习俗分层取题。两侧元数据对不上，导致某个文化现象究竟是「语料里没有」还是「基准没考到」，无从判断。

关键发现：作者把 FineWeb 与 FineWeb-2 的全部 30.9B 篇文档放到统一的「文化-语言-地区」坐标上。地区解析器基于 URL 推断，给 25.61% 的文档（7.92B 篇）指派了非空地区标签。文化侧先归纳出各地特有的主题，再投影到 Liu 等人（2025）文化分类体系的 14 个叶子节点，生成 Locale Topic Distributions 供语料端比较。同一套标签也打在了 277 个文化类 NLP 基准上，两侧可直接对照。

实践启示：做多语种数据清洗时，语言标签只是最粗的一层。把地区与文化主题也标出来，才能回答「这批数据覆盖了谁」。这套标签可直接用于排查评测集与训练集的覆盖缺口。

时间增量持续预训练：6B 精选追平 40B 宽集

论文信息：Time-Incremental Continued Pretraining of LLMs: Knowledge Updates Without Catastrophic Forgetting，arXiv:2609.23916

核心问题：持续预训练的评测常沿用「数据流互不重叠」的持续学习设定，可真实的网页快照之间本就存在大量 URL 重合。作者改在重合情形下考察时间增量更新。

关键发现：实验用知识截止点之后的 FineWeb-Edu 增量数据，覆盖 OLMo2、Llama-3.1/3.2、Gemma-3-1B 三个族共六个开源模型，参数规模 1B、3B、7B、8B。四个结论：知识确实能注入，六个模型里五个在截止点前的事实回忆上也一并提升，涨幅跟预训练饱和程度（每参数 token 预算）挂钩；代价极低，十三项任务套件的宏平均与基座相差不超过 0.01；配比上数据质量压过数量，精选 6B token 切片追平了更宽的 40B；知识获取与通用能力的最优学习率相差约一个数量级。

实践启示：按时间切片做增量更新时，别急着扩量。先按质量切出一小份，把学习率按目标分开调——想补知识用一档，想保通用能力用另一档。

onPanda：token 级修正把对齐数据标注时间砍掉一半

论文信息：onPanda: Efficient Annotation of On-Policy Alignment Data for LLMs and Agents via Token-Level Correction，arXiv:2609.24983

核心问题：构造 on-policy 的 SFT 与偏好数据需要人工改写模型输出，逐字后编辑成本很高，改写后的文本又会偏离模型自身的采样分布。

关键发现：工具把交互收缩为「定位—改正—续写」的循环：标注者读到第一个不合适的 token，从模型候选里挑替换或直接键入，系统截掉该位置之后的内容并从修正后的前缀继续生成。小样本对照研究中，中位标注时间比手工后编辑少 52%。终稿里绝大多数 token 由模型自己生成，采样分布得以保留。标注过程记下的 token 级修正带有精确位置，天然成对构成正负样本。作者一并发布了用该工具标注的 Panda-CVL 数据集与配套的 token 级修正基准。

实践启示：on-policy 数据的价值来自「贴近模型分布」，人工大段重写恰恰破坏了这一点。把人工干预压到 token 级，省下的时间与保住的采样分布兼得，修正记录还能当作细粒度监督信号复用。

BRIDGE：token 效用取决于另一侧留了什么

论文信息：Token Utility Is Selection-Conditioned: Coupled Selection of Prompt Context and Response Supervision for Efficient Instruction Tuning，arXiv:2609.22943

核心问题：指令微调的数据选择要给「回答侧监督」配「提示侧上下文」，现有做法把两侧分开估值，估值时的状态与最终保留的训练子集对不上。

关键发现：BRIDGE（Budgeted Response-Prompt Interaction via Directional Gradient-guided Efficient Token Selection）用一个共享的、以验证集为导向的交互代理刻画「选择条件下的 token 效用」——每一侧都在另一侧当前保留状态下被估价。预算化交替选择把预计算好的交互按当前对侧子集聚合，更新条件分数；结构感知投影再把条件分数转成连贯的监督片段。三个模型族上，BRIDGE 在数学推理、代码生成、指令跟随上整体领先对比方法，数学推理上相对独立选择的优势随压缩率上升而拉大。

实践启示：压缩率越高，两侧分开选的危害越大。做高倍率数据裁剪时，提示与回答要放在同一次联合选择里定，不能各筛一遍再拼。

1% 的 token 就够：稀疏蒸馏要看梯度估计噪声

论文信息：1% of Tokens Can Be Enough: On Gradient Estimation in On-Policy Distillation，arXiv:2609.24432

核心问题：稀疏 on-policy 蒸馏只把教师监督分配给学生自生成轨迹里的少量 token。已有的「有用性」打分忽略了另一件事——从采样出的下一个 token 估计梯度，本身带有噪声。

关键发现：作者在固定前缀处把该问题放到信息几何里分析，提出基于信噪分解的信息效率比（IER），刻画最优标量基线下的相对梯度估计误差。候选集近似让 IER 可与现有有用性分数组合使用，训练目标仍是采样式的 reverse-KL。数学与医学推理任务上，加入 IER 在多个设置里改进了既有选择器，0.1% 到 1% 的小 token 预算下，稀疏配置追平甚至超过不做 token 选择的全量 OPD。

实践启示：分配稀疏监督时要把两个量一起算：这个 token 有没有用，以及它的梯度估计稳不稳。只按前者挑，会把预算花在高噪声位置上。

小结

BRIDGE 与 IER 两篇指向同一条经验：挑 token 时把「选择后剩下的集合是什么」纳入估价，小预算下比全量训练更划算。FineWeb-CLaR 与 onPanda 一个管语料侧的可审计性，一个管标注侧的保真度，都属于能直接接进现有数据流水线的部件。