数据论文速递 · 2026年09月15日

本期五篇论文都绕开「换个模型再刷一次榜」的常规路径，把注意力放在数据这一侧：训练数据的规模上限、语料的自动生成与验证、偏好标签的噪声、评测集的污染，以及优化样本的选择预算。五篇里三篇给出了可直接复用的语料或流水线，另外两篇给出的是「在什么条件下数据才算够用」的判断依据。

一、字节级模型的上限：一万亿字节的双维度扫描

论文信息：Breaking the Token Ceiling: Distilling Smaller, Stronger Byte Models（arXiv:2609.12303，2026-09-11，7 位作者）https://arxiv.org/abs/2609.12303

核心问题：小模型通常从共享分词方案的大模型蒸馏得来。字节级模型与词元级模型在算力和数据增长时的缩放趋势是否一致，此前没有大规模对照。障碍在于两者输出空间不同，无法直接比较损失。

关键发现：作者提出两种把词元 logits 转成字节 logits 的方法——近似的 Marginalize-It 与精确的 End-Of-Token——据此完成首次双维度大规模扫描：分词方案（Tokens、Bytes、Bytes w/ eot）与训练目标（蒸馏、交叉熵）交叉，模型按层与参数量对齐到约 10 亿参数，训练数据量最多推到 1 万亿字节。在覆盖多选问答、语言生成、机器翻译三类的 8 个基准上，Token-1B 在低 FLOP 区间领先，随后进入平台期；字节模型起步更差，却随算力增加反超 Token-1B，达到更高的下游任务天花板。

实践启示：把分词方案当作一个可以和数据预算一起调的旋钮，而不是固定前置项。若训练算力处在低区间，词元模型仍是更省的选择；一旦数据规模推到千亿字节以上，字节模型的天花板更高。论文给出的是趋势外推，落地前需要在自己的数据分布上复现拐点位置。

二、AMDKernelVault：十万级执行验证语料与生成流水线

论文信息：AMDKernelVault: Large-Scale Datasets and Agentic Training for AMD GPU Kernel Optimization（arXiv:2609.12471，2026-09-11，17 位作者）https://arxiv.org/abs/2609.12471

核心问题：现有的 kernel 优化智能体基本围绕 CUDA 与 NVIDIA 生态构建，且反复调用前沿大模型做生成、反思与优化，成本高、不可复现。AMD CDNA 侧缺少可用的开源语料。

关键发现：团队搭建 HIPKernelGen 与 TritonKernelGen 两条智能体流水线，把 PyTorch 参考实现转成 HIP 或 Triton kernel，在 ROCm 下编译验证，并在 AMD 硬件上做延迟剖析，只保留通过执行的样本。产出的语料包含 62,153 条执行验证过的 HIP kernel 样本、39,893 个 Triton kernel，以及 2,377 条取自 ROCm Libraries 的生产级问答条目。用 Qwen3-8B 做监督微调叠加执行感知强化学习后，在固定评测预算下取得对比模型中的最高正确率：PyTorch-to-HIP 34.0% Pass@1、TritonBench-G 33.2% Corr@3、ROCmBench 41.94% Corr@3。论文也指出，编译率与加速比并未全面领先。

实践启示：「生成—编译—实测—保留」这条链路对任何需要可验证监督信号的领域都成立，比单纯让大模型反复改写更可控。其中的取舍是规模与指标的平衡：十万级样本换来的是正确率领先，编译与加速指标没有跟上，说明执行验证能保证「能跑对」，尚不足以保证「跑得快」。

三、PLC-DPO：把噪声偏好标签当成可纠正对象

论文信息：PLC-DPO: Posterior Label Correction in Noisy and Ambiguous Preference Optimization（arXiv:2608.30597，2026-08-31，3 位作者）https://arxiv.org/abs/2608.30597

核心问题：DPO 用成对比较简化对齐流程，前提是观测到的偏好都可靠。真实偏好数据常出现标签反转、强度过弱或语义模糊三种情况，直接训练会带来有害的策略更新。

关键发现：作者用校准后的「策略—参考」间隔作为在线证据，把每个偏好对的训练信号路由成干净、翻转、平局三类，分别采取不同的纠正动作，等于把噪声偏好学习从「筛掉可疑样本」改成「主动修正监督方向与强度」。在 57 个「数据集—模型—基准」单元上，PLC-DPO 对 DPO 的平均胜率为 60.5，次优方法为 55.5。注入噪声测试、平局压力测试与人工分歧分析显示，路由机制能稳定区分翻转对与弱方向对。

实践启示：偏好数据不必非黑即白地保留或丢弃。清洗预算有限时，先按策略与参考模型的间隔给每个偏好对打上可信度，再决定保留、翻转或降权，比按规则过滤更能保住数据量。论文也提到自我确认诊断的局限，路由信号本身仍依赖参考模型的质量。

四、污染受控下的智能体编码评测：支架效应有多大

论文信息：Harness or Model? Isolating the Harness Effect in Agentic Coding with a Contamination-Controlled Private Suite（arXiv:2609.11987，2026-09-08，独立作者）https://arxiv.org/abs/2609.11987

核心问题：厂商发布的支架（工具、提示与控制流）通常针对自家模型调优，实践者默认「原厂搭配」解题更多。这个假设缺少同模型配对对照的验证，且公开基准普遍存在训练污染。

关键发现：作者构建由 256 个仓库任务与截止日期后竞赛任务组成的私有污染受控套件，做同模型配对对比：80 个任务在 claude-agent-sdk 与 deepagents 下运行 claude-opus-4-8，另一组在 openai-codex SDK 与 deepagents 下运行 gpt-5.5，另有 gemini-3.5-flash 与 deepseek-v3.2 作为旁支。计划的 800 次运行有 792 次完成评分。两组对比都没能分出平均优势：Opus 4.8 为 -1.25 个百分点（48.8% 对 50.0%，95% 置信区间 [-10.0, +7.5]），GPT-5.5 为 +1.25 个百分点（55.6% 对 54.4%，置信区间 [-4.4, +6.9]）。分层结果的方向更值得琢磨：Opus 的均值由相反的两层合成，61 个仓库任务上原厂支架落后 9.0 个百分点，19 个竞赛任务上领先 23.7 个百分点（标签置换检验 p = 0.003）。作者明确说明该分层是在看到数据后选定的，需要独立设计复核。

实践启示：评测结论对任务构成极其敏感，混合套件的平均分可能掩盖方向相反的分层差异。做内部评测集时，任务来源与类型要作为分层变量记录下来，而不是只报一个总分。这篇也提醒数据团队：私有、截止日期后的任务集是规避污染最直接的手段，代价是无法对外复现。

五、COBRA-Skills：五十条样本能撑起技能优化

论文信息：COBRA-Skills: Contextual Bandit-Guided Evolution for Agent Skill Optimization（arXiv:2609.11682，2026-09-10，9 位作者）https://arxiv.org/abs/2609.11682

核心问题：智能体的可复用技能通常从历史任务经验中蒸馏，现有优化方法依赖昂贵的执行式评测和大量任务数据，预算一紧就失效。

关键发现：作者把技能优化形式化为候选空间动态演化下的预算受限序列优化，用上下文老虎机做优先级排序，只对有希望或信息量大的候选分配评测，并持续依据执行反馈演化技能种群。在 6 个异构智能体基准与 3 个目标模型上，COBRA-Skills 的平均表现最好，相对 SkillOpt 降低 55% 至 58% 的优化成本，每个基准只用到 50 条唯一优化样本。补充分析显示该方法对支架变化保持稳健，用目标模型自身生成与改进技能同样有效。

实践启示：优化预算吃紧时，把资源集中投向信息量最大的候选，比均匀铺开采样更有效。对数据团队的含义是：样本选择策略本身值得投入，50 条精心挑选的样本配合主动选择机制，可能胜过规模大得多的随机集合。该结论建立在智能体技能这一特定场景，迁移到预训练数据选择前需要重新验证。

小结

五篇合起来指向同一件事：数据侧的收益越来越依赖「怎么选、怎么验、怎么标」，而非单纯堆量。字节模型的缩放曲线说明上限与分词方案、数据预算耦合；AMDKernelVault 与 PLC-DPO 分别从生成侧和标注侧给出可复用的工程做法；污染受控评测与预算受限的技能优化则提醒我们，结论的可靠性取决于任务构成与样本选择机制。做数据决策时，先把这两项记录下来，再谈规模。