数据工程观察 · Vol.122

数据工程观察 · 2026年09月17日

Bolt 用 50 倍算力换开发者会话轨迹；MIMIC 以代码执行轨迹做推理数据验证器；MIFS 用可学性过滤造 RL 就绪多模态数据；梵文手写识别给出标注成本的置信区间；法语 BabyLM 量出 tokenizer 对零样本评分的支配。

2026年9月17日数据工程预训练数据数据合成数据清洗数据配比数据集强化学习数据多模态标注效率 Tokenizer 低资源语种轨迹数据 Scaling Laws

本期五条里，两条落在真实数据源的获取方式上——Bolt 用算力换开发者会话轨迹，MIMIC 和 MIFS 则分别把代码执行轨迹与「可学性」过滤放进数据生产线的核心环节；另两条是账本类工作，一篇把标注成本折算成带置信区间的倍数，一篇量出了小语料评测里 tokenizer 与模板的干扰。

一、Bolt 用 50 倍算力换开发者会话轨迹，真实编码过程被明码标价

事件概述：StackBlitz 旗下的浏览器端开发平台 Bolt.new 于 9 月 14 日推出 Forge 研究预览，向个人 Pro 订阅者开放最高 50 倍的开源权重编码模型用量，条件是开发者选择加入会话数据共享。采集内容包括提示词、源代码、智能体修 bug 产生的修复轨迹，以及人机对话记录。这些会话将与 Arcee AI 合作，用于训练一个万亿参数级的开源权重模型，首次训练跑计划在 10 月启动，权重计划对外公开。

技术细节：Forge 把开源模型跑在 Bolt 自有基础设施上，当前主力是 GLM 5.3 Flash 与 GLM 5.3，Kimi K3 和 DeepSeek v4 Pro 作为实验选项；配合 StackBlitz 的 WebContainers，项目在浏览器内的隔离环境中执行，压低了服务端成本。效果侧，Forge 的开源模型在 Bolt 内部 Build Index 上得 92.2 分，最强付费模型为 101.0 分，约为后者的 91%。数据侧，Bolt 称会话在离开其基础设施前已做匿名化，剔除密钥、敏感信息与个人身份信息，并用植入数据验证流程；Arcee 依据签署的数据处理协议接收。Standard 与 Max 会话不参与，Teams 与 Enterprise 账户不能加入。退出 Forge 只能停止后续共享，已被用于训练的数据留在模型里。50 倍额度 10 月 14 日结束。

对大模型数据工作的影响：公开代码仓库只呈现最终结果，缺失的是失败尝试、回退与修正这一段过程记录，而这恰是智能体承担长任务时最缺的监督信号。Bolt 把这段过程从开发者手里买下来，等于给轨迹数据定了价——50 倍用量。上个月 SpaceXAI 用智能体失败轨迹训练 Grok 4.6 走的是同一思路，数据源换成合成跑批。做代码数据的团队需要盯两件事：这类会话数据的授权链条是否可追溯；「退出即停止、已训不可撤回」的条款会写进越来越多产品的协议里。

二、MIMIC：拿可执行代码当推理数据的验证器，10,008 道种子题撑起 114K 条 SFT 样本

事件概述：一篇被 EMNLP 2026 主会接收的论文提出 MIMIC 框架，用可执行代码作为推理数据合成的严格中介，把算法题转成可验证的推理轨迹。数据源只有 Codeforces，清洗后 10,008 道题，每道种子题生成约 20 道情境化题目，全部由一个 Qwen3.5-27B 模型合成，最终支撑约 114K 条 SFT 样本与约 1 万条 RL 提示词。

技术细节：流水线分四步。第一步对题目分类并抽出算法内核，形成五个类别的能力分类法；第二步做叙事融合，从预训练语料中按类型采样段落，把算法内核包进故事外壳；第三步做代码引导的测试合成，先做控制流内省再针对性造输入，每个问题生成三类测试各 5 组，其中 B 类专门命中关键分支；第四步在代码里稀疏插桩采集确定性执行轨迹，再翻译成自然语言思维链。插桩带来的中间执行状态直接构成 Code-Instrumented Reward（CIR），奖励形式只是简单的步数比 k/K，不需要外部奖励模型，论文称其在对比中超过了已有的过程奖励模型。RL 数据挑选用的是词典式目标：先保证 problem_id、推理类型、测试来源三个轴上的均衡，在此约束下每题跑 8 次 rollout，优先保留实证正确率最接近 50% 的样本，因为这类样本奖励方差最大、策略梯度信号最强。

对大模型数据工作的影响：把代码从生成目标改造成验证器，解决的是合成推理数据「谁来判对错」的老问题——执行状态天生就是免费的高保真过程监督。更值得抄的是 RL 数据挑选那条规则：先卡多样性再挑中等难度，而不是先按难度筛。论文给出的消融支持这一点，同样是 Qwen3-4B 做 SFT，用情境化合成数据平均得 61.6，直接用原始 Codeforces 题目只有 45.1，差 16.5 分。合成器用 27B 模型而非前沿模型也说明，这类管线的瓶颈不在生成器能力，而在验证环节是否可靠。

三、MIFS：给 RLVR 造「可学的」多模态指令数据，90K 样本换 8.13 个百分点

事件概述：哈工大 SCIR 与北大团队发布 MIFS（Multimodal Instruction Following Synthesis），一套面向多模态指令跟随的 RL 就绪数据合成流水线。产出的 90K 样本覆盖 8 类约束与 14 个任务域，在四个 MMIF 基准上平均提升 8.13 个百分点，训练收敛速度约为原始数据的 3 倍。

技术细节：MIFS 分三段。种子空间构建由视觉基底、认知任务分类法和生成式约束协议三部分组成；随后生成图像—指令任务；最后是三步质量蒸馏——A 步过滤约束密度，B 步按难度剪枝，C 步按 RL 可学性过滤，即依据 RL 训练动态剔除会导致策略优化不稳定的样本。奖励信号由一个基于代码的验证器提供。分规模看，4B、8B、32B 三个变体的平均提升分别是 8.16、8.13、8.52，32B 在 MM-IFEval 上得 75.91、在 MIFS-Eval 上得 89.79。论文指出这套范式避开了 SFT 常见的泛化代价，在提升指令跟随精度的同时保住了原有视觉能力。

对大模型数据工作的影响：多模态 RLVR 一直卡在缺少可验证的高质量数据上，MIFS 给出的答案是把质量过滤拆成密度、难度、可学性三层，其中可学性那一层直接拿训练动态当筛选信号——数据是否值得留，取决于策略在它上面能不能学到东西，而不是它看起来好不好。这与纯文本侧按难度或按损失筛数据的思路同源，区别是筛选标准从静态指标换成了动态反馈。收敛快 3 倍这个数字，对算力受限的多模态 RL 实验是实打实的成本项。

四、梵文手写识别的标注账本：355 词压到 81 词，收益随目标准确率上升而消失

事件概述：一篇聚焦手写梵文识别的工作，把「预训练到底省下多少人工标注」这个常被含糊过去的判断，做成了可直接比较的样本复杂度曲线。研究者固定识别器、优化器和评测协议，只改变微调所用的真实转录词数，在 10 到 4,000 共九个预算档、四种初始化条件下训练，每个点跑六个种子。

技术细节：结论折算成标注当量。要到达 CER 0.50，用监督式合成预训练只需 81 个真实转录词，随机初始化则要 355 个，标注倍数 4.40 倍（95% 区间 3.56–4.99）。零样本那一点也给了参照：完全不用真实转录词时，这套预训练大约值 136 个词。优势并不稳定——随着目标准确率提高，节省幅度收窄，在论文测得最苛刻的那一档目标上，节省与零之间已无法区分。第四个实验臂只迁移编码器，用来把预训练方法的效果与迁移范围分开，结果观察到掩码图像建模在一部分预算区间内是负迁移。论文明确标注了局限：这里的稀缺性是通过对大语料下采样构造出来的。

对大模型数据工作的影响：4.40 倍这个数字的价值在于它是有置信区间的比值，而不是「预训练大幅降低标注成本」这类无从核对的说法。更该记住的是那条随目标变陡而变平的曲线：合成或外部预训练换来的标注节省，集中在低准确率区间，越往高准确率追，越得回到真实标注上。做低资源语种或垂直领域语料时，用这条曲线去估还差多少人工，比拍脑袋定标注量可靠。掩码图像建模负迁移这个观察也提示，迁移范围（整体还是只编码器）应当作为独立变量报出来，否则容易被归到预训练方法头上。

五、MéTRON-FR：92.47M 词的法语 BabyLM，量出 tokenizer 与模板对零样本评分的支配

事件概述：BabyLM 2026 Strict 赛道的一份提交给出 MéTRON-FR——一个用 9,247 万法语词训练的 1.25 亿参数 GPT-2。它在魁北克法语最小对语法基准 QFrBLiMP 上得 85.97%（±0.17），在 BabyLM 加权榜单上得 62.80%。

技术细节：论文做了三项方法学检查。跨语言 GLUE 协议把法语任务数据翻译后配合 rank-16 LoRA 微调，结果呈现清晰的任务类型梯度：关系型任务有可测提升，世界知识类任务反而退步。双语词典归纳把法语嵌入对齐到 GPT-2，p@1 为 68.84%（±8.61），高出随机水平 18 倍，作者据此判断跨语言对齐跟的是已习得的语法能力，而非训练时长。最关键的一项消融是：在儿童尺度上，单 token 零样本评分基本被 tokenizer 与模板假象主导。由此作者建议把 tokenizer 替换敏感性测试、安慰剂对照提示、母语最小对基准三者作为标准诊断手段。

对大模型数据工作的影响：这条对评测环节是直接警告——小语料、小模型场景下的零样本打分，测到的可能主要是分词器与提示模板，而不是语料质量。做多语种语料配比或低资源语料筛选时，若用最小对这类零样本指标当信号，先跑一遍 tokenizer 替换与安慰剂对照，否则容易把分词器差异误读成数据差异。跨语言 GLUE 那条任务类型梯度也值得留意：翻译过来的任务数据对关系型能力有帮助，对知识型能力是负向的，说明翻译数据补充低资源语种这条常用路径并非处处成立，配比时得分任务族看。