数据论文速递 · 2026年09月24日

本期概览

今天这五篇散落在标度律、预训练语料、指令数据选择、低资源清洗和蒸馏数据安全五个方向，指向同一件事：数据的组织方式比数据体量更决定结果。LIMIT 用不到千条样本在 Text-to-SQL 上压过二十倍数据量的方法；Hunyuan-A13B 把 20T token 语料的筛选重点压在 STEM 策展上；ReMova 的消融显示过滤带来的增益与模型类型强相关；能力流形试图把 Kaplan 与 Chinchilla 两套标度律放进同一个坐标系；SALVE 则提醒蒸馏数据集会携带肉眼读不出的教师特质。

LIMIT：Text-to-SQL 指令微调只需 796 条样本

论文信息：LIMIT: Less Is More for Instruction Tuning in Text-to-SQL，arXiv:2609.24186

核心问题：Text-to-SQL 的推理增强微调路线一直默认靠大规模指令语料堆性能。作者追问的是反向问题——把训练样本压到多小，还能保住数据库推理能力。

关键发现：LIMIT 用四段流程做数据侧改造：难度感知过滤挑出落在模型学习前沿的样本，一致性筛选配合思维链合成，LLM-as-judge 做多维质量打分，遗传算法联合优化 schema 覆盖与样本质量。在 BIRD 与 Spider 上分别只选 796 条与 863 条，就做到 100% 表覆盖，让 Qwen3-8B 拿到 69.1% 与 88.9% 的执行准确率，超过用二十倍数据训练的方法，在开源路线里刷新了成绩。

实践启示：把「选哪些」当成独立优化目标，收益能盖过「选多少」。schema 覆盖这类结构性指标应当和样本质量一起进目标函数，只做质量打分会漏掉覆盖盲区。对垂直任务的微调预算评估，先跑小规模精选基线再决定是否扩量，比直接上全量更省。

能力流形：把标度律放进同一张多维曲面

论文信息：The Capability Manifold and ML Scaling Laws，arXiv:2609.27588

核心问题：已有标度律把预测损失同算力、参数量、数据量挂钩。模型越来越多地跑在智能体框架里，损失相同的两个模型在推理、检索、规划、适应上的表现可以差很多，缺一个统一框架把能力与预训练、后训练、推理时资源连起来。

关键发现：论文提出能力流形（capability manifold），用有界标度函数把下游能力映射为预训练、后训练、测试时资源的函数，并用解析 Jacobian 量化能力对资源变化的敏感度与资源之间的交互。作为初步应用，作者把 Kaplan 型与 Chinchilla 型标度律以及测试时算力嵌入该框架，说明不同标度关系可以统一成同一流形上的不同轨迹。

实践启示：损失不再是排产的唯一抓手。做算力分配时可以把「能力对某类资源的敏感度」显式算出来，而不是照搬单一标度律外推。预训练、后训练、推理时算力之间存在交互项，单独优化一段容易在另一段被抵消。

Hunyuan-A13B：20T token 语料与 STEM 数据策展

论文信息：Hunyuan-A13B Technical Report，arXiv:2609.27284

核心问题：开源 MoE 模型要在能力、推理吞吐与部署成本之间找平衡，预训练语料的构成与筛选策略是决定 factual 可靠性与推理表现的关键变量。

关键发现：模型总参数 800 亿、推理激活 130 亿，预训练语料为 20T token，经过严格过滤，并对 STEM 数据做了增强策展。后续接优质监督微调与大规模强化学习，再叠加双模思维链框架——常规查询走快思考，复杂多步问题走慢思考。评测覆盖数学、科学、编程、通用语言理解与智能体任务，表现接近体量更大的模型。

实践启示：STEM 数据的单独策展被摆到与整体语料过滤并列的位置，说明领域配比正在从「混入」升级为「独立管线」。快慢双模把推理深度的选择权交给任务复杂度，做推理预算控制时可以参照这一分层思路。技术报告公开了语料规模量级，给后续复现提供了锚点。

ReMova：低资源翻译里，过滤的收益与模型类型绑定

论文信息：ReMova: Fine-tuning LLMs for English to Belarusian translation，arXiv:2609.16427

核心问题：白俄罗斯语在网络上存在两套正字法并存、训练数据噪声、其他语言干扰、常见拼写错误等问题。论文想定位英语—白俄罗斯语机器翻译的主要瓶颈是否落在数据质量上。

关键发现：作者设计了针对白俄语的清洗管线，核心是一个校正工具，处理正字法分歧、训练噪声、跨语言干扰与拼写问题。在未过滤数据上做匹配消融，过滤对所有微调模型都带来可观收益；LLM 类模型从过滤中拿到的增益约为专用编码器—解码器 MT 系统的两倍，指向数据质量是该语种翻译的首要瓶颈。

实践启示：清洗规则要贴着语言特性写，通用去重与质量分筛不掉正字法分歧这类问题。过滤收益随模型类型变化，评估清洗投入时应按目标模型重新测一遍，不能沿用编码器—解码器时代的结论。低资源语种上，先做数据侧消融再调结构，性价比更高。

SALVE：蒸馏数据集里看不见的教师特质可以被读出来

论文信息：Verbalizing Subliminal Learning Effects Using Text Optimization，arXiv:2609.16927

核心问题：隐性学习（subliminal learning）指的是蒸馏数据集把教师模型的某些特质传给学生，而这些特质在数据本身里读不出来。这给模型开发带来新难题，也打开了新的数据投毒面。

关键发现：作者把带提示的隐性学习归约为上下文蒸馏的特例，并从理论上说明这类数据集能确定出教师的提示。方法 SALVE 把恢复提示变成一个文本优化问题：优化 soft prompt，让同一模型把它 verbalize 成自然语言，再用 beam search 让 verbalization 稳定下来。标准场景下 SALVE 能稳定恢复出点名教师特质的可读提示，常见文本优化方法做不到。它还能在三种额外场景检出效应：隐性学习数据与无关数据的混合、教师经 activation steering 偏置后生成的数据、用 Logit-Linear Selection 挑出的真实偏好数据子集。

实践启示：蒸馏数据入库前可以做一次隐性特质体检，而不是只看文本是否合规。偏好数据按打分挑选这一步本身就会引入可检出的特质传递，选型时应把这一点计入风险。论文也提醒，为改善上下文蒸馏而改动学生训练，反倒会制造出隐性学习效应。

小结

五篇论文合起来给出一条清晰的操作顺序：先按结构指标与质量分数把样本选出来（LIMIT），再按领域做独立策展（Hunyuan-A13B），针对目标语言与模型类型定制清洗（ReMova），用能力敏感度而非单一损失来分配算力（能力流形），最后对进入训练的数据做隐性特质审计（SALVE）。数据侧的每一步都能单独量化收益，这是近一年相关研究里最稳定的一处共识。