数据论文速递 · 2026年09月25日

本期概览

本期五篇都落在同一条线上：预训练语料怎么配、怎么造、怎么验。两篇给出配方与成本标度（Puro-2B、Arkios），一篇拆开标度律里「数据量 × 序列长度」这个常被默认可互换的乘积（Linear RNN Scaling Laws），一篇用删事实的干预实验测跨语言知识迁移（SIFT），一篇把合成管线的失败样本回收成反馈信号（VISA）。

Puro-2B：用消费级显卡把预训练成本压到几千美元

论文信息：Puro-2B: Poor Lab’s Qwen2-1.5B Trained on RTX 5090 within $5090 ｜ arXiv:2608.27370 ｜ arxiv.org/abs/2608.27370

核心问题：预训练几乎和「烧钱」画了等号。开放权重模型与开源训练配方都已存在，成本可控、硬件可达、端到端开源的预训练配方一直缺位。作者给出的参照是：即便在小规模上，训练 Llama-3.2-3B 的成本也超过 150 万美元，复现 SmolLM3-3B 需要 70 万美元以上。

关键发现：团队在消费级 RTX 5090 上以 FP8 精度从头训练 Puro-2B 系列，最多用到 1.4 万亿 token，系列内各模型的 token 预算与配方变体不同。最佳模型的算力成本低于 6,900 美元，在其评测协议下逼近 Qwen2.5-1.5B。成本优势来自几项叠加：硬件选型、低精度训练、hyperball 优化、课程式模型平均，以及数据配方。跨整个系列拟合出 Puro Cost Scaling Law，把训练成本与平均表现关联起来；拟合结果指向约 4.4K 美元（低于 5,090 美元）就足以达到 Qwen2-1.5B 的表现。另一项结果是端到端案例研究：预训练数据课程如何塑造后训练之后的下游表现。数据与代码、权重按 Apache 2.0 放出。

实践启示：token 预算与数据配方是被低估的两个杠杆，其作用不在硬件与精度之下。手握完整预训练流水线（而不只是权重）才做得起受控的数据课程实验——这类对照正是当前开源生态里最稀缺的东西。

Arkios：1500 亿 token 双语语料，以及一个评测格式陷阱

论文信息：Arkios: An Open Bilingual English-Nepali Language Model Trained From Scratch, with a Devanagari-Aware Tokenizer ｜ arXiv:2608.30092 ｜ arxiv.org/abs/2608.30092

核心问题：低资源语言从零预训练的语料与分词方案怎么搭，以及小模型在低资源语言上的评测数字是否可信。

关键发现：Arkios 是 10.4 亿参数的 dense transformer，在 1500 亿 token 的英语-尼泊尔语双语文本上从头训练，配套自建的 Devanagari 感知字节级 BPE 分词器与单文件 C/CUDA 训练栈。训练 token 少一个数量级，它在 ARC-Easy 与 ARC-Challenge 上仍超过 Pythia-1.4B、TinyLlama-1.1B、OLMo-1B。作者把这份优势归因于教育类网页预训练文本与 ARC 小学科学题格式之间的匹配，而非通用能力的提升。评测侧的发现更值得注意：常用评测框架的多选字母 prompt 格式把模型在尼泊尔语阅读理解上压到随机水平（0.240），英语在同格式下同样落在随机（0.236，随机基线 0.250）；改为直接对答案文本打分才显出真实的、偏向英语的理解能力（尼泊尔语 0.306、英语 0.387）。

实践启示：语料与目标基准在题材、格式上的匹配会制造虚高分数，引用这类数字前应先看清语料构成。低资源语言的评测结论更要先验格式再下判断——字母选项格式足以让一个有能力的模型被误判为零能力。

Linear RNN Scaling Laws：长序列何时胜过更多序列

论文信息：Linear RNN Scaling Laws: When Longer Sequences Beat More Sequences ｜ arXiv:2609.27964 ｜ arxiv.org/abs/2609.27964

核心问题：自回归模型的经验标度律把预测损失关联到模型规模、数据规模与优化算力，这套关系在序列预训练设定下的理论来源一直说不清。

关键发现：作者在一个可解的 teacher-student 设定里展开分析：由稳定的潜在线性 RNN 生成轨迹，sketched 线性循环学生模型用带保护的 full-batch WSD 梯度下降做下一 token 预测。sketch 维度 M 对应模型规模，N 条长度为 P 的独立轨迹提供训练 token。创新协方差与初始化协方差取不同的幂律指数 α 与 θ，导出的设计谱给出显式的近似、优化、统计三类标度律，由谱 crossover 分隔。θ ≥ α 时恢复单尺度率 M^(1-β_α)、R^((1-β_α)/α) 与 (NP)^(-1)·min{M, R^(1/α)}；α-2r ≤ θ < α 时，更重的初始化尾部会在依赖 P 的模型与优化 crossover 之后改变这些率。证明只在内部使用协方差事件，并在其补集上取全局保护步长。方差项保留 (NP)^(-1) 因子，序列长度还抑制初始化瞬态，于是 N 与 P 在双尺度区不再完全可互换。

实践启示：「训练 token 数 = 序列条数 × 序列长度」这个常用折算是有限定条件的，双尺度区里两者不能等价替换。配比数据规模与序列长度时应分开核算，加长序列带来的收益不止于 token 总量的增加。

SIFT：删掉事实再看迁移，多语言知识迁移其实很有限

论文信息：Probing Factual Knowledge Transfer with Training Data Interventions ｜ arXiv:2609.01341 ｜ arxiv.org/abs/2609.01341（EMNLP 2026 Main Conference）

核心问题：多语言模型在持续预训练中到底是把事实知识跨语言迁移过去，还是主要靠目标语言语料里的直接记忆。

关键发现：作者提出干预式框架——从英语预训练模型出发，在特定事实已被系统性删除的波斯语数据上继续预训练，删除粒度分档。配套构建 SIFT 资源：20 种关系、500 个三元组，按主体文化来源把事实分为通用（全球知名）与波斯相关两类，配本土撰写的波斯语完形模板，兼顾从事实删除到评测的全流程。结论是事实迁移非常有限：在最严格的删除条件下，大部分英语习得的事实无法迁入波斯语。句子级共现删除不足以消除事实信号；用简单随机负候选集会大幅抬高表观迁移分数，因为它奖励了浅层联想启发式，换成更难、更少依赖启发式的候选集后分数低得多。源语言实体频率的影响很大——波斯相关事实在英语语料中稀有数个量级，几乎不发生迁移。

实践启示：多语言能力无法指望「英语语料里的知识自动过去」，目标语言语料的事实覆盖要单独补。语料清洗时删除粒度应上升到实体级、文档级，句子级处理会留下残余信号。评测侧的负样本构造足以翻转结论方向，做迁移类实验时这一点必须先固定住。

VISA：把合成管线的废料回收成反馈

论文信息：VISA: Agentic Self-Evolving Data Synthesis for Multimodal Instruction Following ｜ arXiv:2608.26013 ｜ arxiv.org/abs/2608.26013

核心问题：多模态指令跟随模型需要准确、多样、可验证且有难度的训练数据。现有合成管线普遍是「一遍生成加过滤」，把失败样本、验证器判定、目标模型错误这三类反馈直接丢掉。

关键发现：VISA 把多模态指令合成改写成自演化循环。每一轮先分析图像以过滤不兼容约束、发现新的可验证约束，再从持久记忆中采样兼顾多样性与难度的约束集，生成候选指令，并用可执行工具与结构化 LLM 裁判做验证。失败样本触发诊断引导的修复；被接受的样本会被拿去探测目标模型以估计难度。验证器信号与目标模型的失败画像写回记忆，后续轮据此自适应扩展约束空间、降低模板重复、聚焦尚未解决的模型弱点。同一套验证器契约还能直接为强化学习提供奖励信号，不必另训奖励模型。MM-IFEval 上稳定优于强基线，七个公开基准上的通用多模态能力得到保持。

实践启示：合成流程里被丢掉的失败样本与验证器判定，恰恰是最值钱的反馈通道。把目标模型的失败画像写回记忆，数据生成就会自动追着模型弱点走；验证器兼作筛选部件与奖励来源，省掉一个独立奖励模型。

小结

五篇合起来给出一条可操作的顺序：先算清 token 预算与数据配方的性价比（Puro-2B），再确认语料构成与评测格式没有互相抬轿子（Arkios），规模换算时注意数据量与序列长度不等价（Linear RNN Scaling Laws），补目标语言事实覆盖时按实体粒度清洗（SIFT），合成数据阶段把失败样本接回生成回路（VISA）。