数据论文速递 · 2026年07月24日

引言

本期论文呈现一条清晰演进线：数据策展从依赖经验试错转向量化每个 token 的价值贡献。Solar Open 2 在 250B MoE 预训练中将 20T token 池精炼至 10T，核心创新是质量-稀有度联合感知的策展策略和混合比例优化，证明”更少但更精”的 token 可在同等预算下超越原始配方。SLAI T-Rex 则将这一思路下沉到领域层——为运筹学任务构建 CPT+SFT 管线，用求解器验证合成数据的事实正确性，10K 样本即让 7B Flash 模型零样本 Pass@1 达 71.81%，超过 GPT-5.4-Mini。缩放定律方向，超网络知识注入的缩放行为首次被系统实证——损失、推理准确率和 OOD 泛化均沿超网络深度/宽度/目标网络规模呈现可预测的幂律，为数据驱动的知识注入提供了理论导航。最后，emb-diversity 工具填补了数据多样性测量的标准化空白——基于嵌入的多样性指标可灵活适配风格、语义、语言和说话人维度，为数据策展的多样性约束提供统一量化工具。

---

Solar Open 2：质量-稀有度感知的预训练数据策展

论文信息：Solar Open 2 Technical Report · arXiv:2607.20062 · Park, Kim, Gim et al. (Upstage)

核心问题：在固定计算预算下训练大规模 MoE 模型，如何从海量原始 token 池中精选出”每 token 价值最高”的训练数据，而非简单地使用更多 token？

关键发现：

• Solar Open 2 为 250B-A15B MoE 模型，面向长程 Agent 任务，上下文窗口达 1M token
• 数据策展核心：质量-稀有度联合感知的数据策展（quality- and rarity-aware data curation） + 混合比例优化（mixture-ratio optimization），将 20T 原始 token 池精炼为 10T 高质量混合
• 在同等 token 预算下，精炼后 10T 混合超越 Solar Open 1 的原始数据配方
• 模型初始化从 Solar Open 1 转移 5.69B 共享骨架，通过全参数预训练学习其余部分
• Agent 技能构建：训练 12 个领域专家，通过 Multi-teacher On-Policy Distillation (MOPD) 合并为单模型
• 在 MMLU-Pro、LiveCodeBench 和 APEX-Agents 上领先同规模开源模型；韩语基准平均分最高

实践启示：数据策展进入”每 token 计价”时代——质量-稀有度联合感知比单纯质量过滤更有效，因为稀有知识（低频但高信号）对模型能力贡献更大。20T→10T 的”减半超越”表明，在大规模预训练中，数据精炼的 ROI 可能高于数据扩展。混合比例优化应作为独立优化变量纳入训练预算分配决策。

---

SLAI T-Rex：求解器验证的领域 CPT/SFT 数据管线

论文信息：SLAI T-Rex: Full-Parameter Post-training of the DeepSeek-V4 Family on Ascend SuperPOD · arXiv:2607.20145 · Li, Luo, Sun et al. (SLAI)

核心问题：如何为复杂运筹学（OR）任务构建可靠的领域持续预训练（CPT）和监督微调（SFT）数据，确保合成数据的数学正确性？

关键发现：

• 基于 DeepSeek-V4-Flash 构建运筹学领域专用 CPT 和 SFT 数据管线
• 领域数据来源三支柱：收集的领域资源 + 求解器验证的合成优化文档 + 多问题表示（数学规划、自然语言、代码）
• 合成数据通过求解器（如 Gurobi/CPLEX）验证最优性，确保事实正确性
• 最终数据集：10K 高质量 SFT 样本，覆盖 4 个任务类别 × 3 种问题表示
• 专用模型零样本 Pass@1 达 71.81%，超过 GPT-5.4-Mini（+3.98pp）和基础 DeepSeek-V4-Flash（+11.27pp）
• 系统优化：在 Ascend NPU SuperPOD 上实现 34.22% MFU，2.93x 改进

实践启示：求解器验证是领域合成数据的”事实锚”——运筹学/数学/代码等有可执行验证器的领域，应将验证器作为合成管线的必经环节而非可选质检。10K 样本即超越 GPT-5.4-Mini 说明，领域 CPT 的数据需求远小于通用预训练，关键在于数据的信噪比而非规模。多问题表示（数学/自然语言/代码）的联合训练有助于模型在推理-执行间建立可靠映射。

---

超网络知识注入的缩放定律

论文信息：Scaling Laws for Hypernetwork-Based Knowledge Injection in Large Language Models · arXiv:2607.19604 · Dhankhar, Baha, Saparov

核心问题：超网络能否可靠地向 LLM 注入大规模事实知识？其缩放行为如何——知识注入能力随超网络规模和目标模型规模的变化是否可预测？

关键发现：

• 训练超网络生成固定 LoRA 适配器，使目标模型能回答注入语料中的事实问题
• 构建大规模数据集 MegaWikiQA：数千万条多跳问答对，覆盖 39 个领域，源自 Wikidata5M
• 缩放定律首次实证：损失、推理准确率和 OOD 泛化均沿三个架构轴（超网络深度、宽度、目标网络规模）呈现可预测的幂律缩放
• 超网络在 OOD 泛化上缩放指数更陡，优于 LoRA 微调和全参数微调——规模越大，知识注入的泛化优势越明显
• 设计解耦了超网络注入容量与目标模型通用能力，首次实现超网络缩放定律的严格研究

实践启示：知识注入有可预测的缩放行为——这意味着可以根据目标性能反推所需的超网络规模和数据量，避免盲目扩展。超网络的 OOD 泛化优势暗示：当事实知识规模持续增长时，超网络注入可能比传统 RAG 或微调更具缩放效率。MegaWikiQA 数据集为数千万级多跳事实推理提供了开源基准。

---

emb-diversity：嵌入数据多样性测量工具

论文信息：emb-diversity: A Tool for Embedding-Based Measurement of Data Diversity · arXiv:2607.19848 · Su, Velayuthan, Ploeger, Nguyen, Wegmann

核心问题：数据多样性对 NLP 模型的公平性和鲁棒性至关重要，但现有多样性测量方法碎片化、不一致——词汇多样性工具有，但嵌入级多样性测量缺乏标准化工具。

关键发现：

• 提供基于嵌入的综合性数据多样性测量工具，覆盖广泛的多样性度量
• 核心优势：与嵌入模型无关——可适配任何嵌入模型和任何可嵌入的数据类型
• 四大应用场景验证：风格多样性（stylistic）、语义多样性（semantic）、语言多样性（language）、说话人多样性（speaker）
• 填补了从词汇多样性到语义多样性之间的工具空白——现有工具仅覆盖词级指标（如 TTR、hapax ratio），嵌入级多样性缺乏统一接口
• 开源可用：github.com/nlpsoc/emb-diversity

实践启示：数据策展中”多样性”长期缺乏客观量化——策展者常凭直觉而非度量调整数据混合。emb-diversity 提供可复现、可比较的多样性指标，使多样性约束从定性判断转为定量优化。在数据混合优化中，多样性分数可作为与质量分数互补的第二目标，避免”高质量但同质化”的数据配方。工具与嵌入模型无关的特性意味着可直接接入现有训练管线。