综合调研

STEM 领域长上下文数据构建：从数学推理到科学文献理解

系统梳理 STEM 领域大模型长上下文训练数据的构建方法，覆盖数学长推理链、科学文献理解、结构化数据增强三条路线

长上下文 数据构建 STEM 数学推理 科学文献 训练数据

STEM 领域长上下文数据构建：从数学推理到科学文献理解

覆盖范围：数学长推理链 · 科学文献理解 · 结构化数据增强 · 长上下文推理训练
核心论文：14 篇关键工作
时间跨度：2024.06 — 2026.03
Tuntang 研究 | 2026.04.01

目录

第一部分：问题框架

  1. STEM 长上下文的独特挑战
  2. 三条技术路线总览

第二部分：数学领域的长推理数据 3. 预训练：从 Web 中提取高质量数学数据 4. 长推理链蒸馏：Nemotron-Math 路线 5. Long CoT 的涌现与构建 6. 过程奖励模型的训练数据

第三部分：科学文献理解数据 7. SciLitLLM：领域适配的数据管线 8. OpenScholar：检索增强的科学问答 9. CURIE：科学长上下文的能力边界 10. SCALAR：基于引用的科学推理

第四部分：长上下文推理的通用增强 11. LongFaith：忠实推理数据合成 12. LongRePS：推理路径监督 13. TableLong：结构化表格数据的意外价值

第五部分：总结与展望 14. 方法论对比与选型建议 15. 展望：STEM 长上下文数据的下一步

一、STEM 长上下文的独特挑战

STEM 领域的长上下文与通用文本、代码都不同。它的核心特征是符号密度高、推理链条长、跨文档依赖强。

符号密度

一篇数学论文中，公式、变量、定理编号构成了一套独立于自然语言的符号系统。模型不仅要理解”令 ff 为连续函数”这样的自然语言，还要追踪 ff 在后续 20 页中的所有出现和变换。这种符号级别的远距离依赖在通用长文本中几乎不存在。

推理链条长度

一个数学证明可能需要 50 步以上的推理，每一步都依赖前面的结论。一个科学实验的分析可能跨越假设、方法、数据、统计检验、讨论五个阶段。这种链条的长度和严密性远超日常的问答场景。

DeepSeek-R1 的出现将”Long Chain-of-Thought”推到了前台。模型生成的推理链可以长达数万 token，包含反复的验证、回溯和修正。但高质量的长推理训练数据从哪里来——这是 STEM 长上下文数据构建的核心问题。

跨文档依赖

科学研究天然是跨文档的：一篇论文引用 30 篇前序工作，理解其贡献需要了解这些引用的核心结论。综述性的科学问题（如”对比 X 方法和 Y 方法的优劣”）需要模型同时消化多篇论文的关键信息。

CURIE 基准的数据表明，即使是最好的模型，在科学长上下文任务上的准确率也只有 32%。这不是上下文窗口不够长——而是模型还不会在长科学文本中进行有效推理。

二、三条技术路线总览

路线目标数据类型典型方法
数学长推理建立数学推理能力数学语料 + 推理链Web 提取、蒸馏、RL
科学文献理解理解长科学文档科学论文 + 指令CPT/SFT 管线、RAG
长上下文推理增强增强通用长文推理合成推理数据忠实合成、表格增强

三条路线在数据来源上差异很大，但在方法论上有共性：都在试图解决”长上下文中信息的精确定位和可靠推理”这个核心问题。数学领域通过推理链的显式构建来解决，科学文献领域通过检索和引用机制来解决，通用推理增强则通过数据结构（如表格）来引导。

三、预训练：从 Web 中提取高质量数学数据

数学推理能力的基础建立在预训练阶段。关键不在于数据量（Common Crawl 中有天文数字的网页），而在于如何从嘈杂的 Web 数据中精确提取数学内容。

Nemotron-CC-Math：大规模数学语料提取

Nemotron-CC-Math (Mahabadi et al., 2025) 是目前最大规模的高质量数学预训练数据集：

数据规模：

  • Nemotron-CC-Math-3+：1330 亿 token
  • Nemotron-CC-Math-4+：520 亿 token（质量更高的子集，是此前 SOTA 数据集 FineMath-4+ 的 5.5 倍）

提取管线的关键创新：

  1. 多格式数学恢复：Web 上的数学公式以多种格式存在——MathJax、KaTeX、MathML、LaTeX。传统的提取方法用简单的正则表达式，极其脆弱。Nemotron 的管线能跨格式恢复，并统一标准化为 LaTeX
  2. 布局感知渲染：使用 lynx（文本浏览器）进行布局感知渲染，保留方程和代码块的结构信息
  3. LLM 驱动的清洗：用大模型对提取结果做质量审核，修正格式转换中的错误

效果验证：在 Nemotron-CC-Math 上预训练 Nemotron-T 8B，MATH 数据集提升 +4.8 到 +12.6，同时通用能力（MMLU）也有改善。

我的评论

Nemotron-CC-Math 解决了一个长期被低估的问题：Web 上的数学内容不仅仅是”文本中有公式”——公式的渲染格式多样，HTML 到纯文本的转换极易丢失结构信息。多格式恢复+LLM 清洗的组合是一个务实且有效的工程方案。

但 1330 亿 token 的纯数学语料引出一个问题：这些数据的多样性如何？ Web 上的数学内容高度集中在教材习题和竞赛题，科研级别的数学内容（前沿论文中的证明）占比很低。如果要提升模型在科研数学上的能力，可能需要针对性地收集 arXiv 上的数学论文。

FineWeb-Edu 的启示

FineWeb-Edu 提出了一种通用的教育内容质量评分方法：用大模型对 Web 内容的”教育价值”打分，然后按分数筛选。这个方法虽然最初是为通用文本设计的，但对 STEM 数据构建有直接启示——可以训练专门的 STEM 质量评分模型，用于从 Web 中筛选高质量的科学内容。

Phi-4 的技术报告进一步证实，“以数据质量为中心”的训练策略在 STEM 任务上的收益最为显著。

四、长推理链蒸馏：Nemotron-Math 路线

预训练建立了数学知识基础，但要让模型学会长步骤推理，需要后训练阶段的推理链数据。

Nemotron-Math：多模式推理数据

Nemotron-Math (Du et al., 2025) 构建了迄今最大规模的数学推理训练数据集：

数据规模：750 万条解题轨迹

多模式设计：每个问题有三种推理深度的解法：

  • 高模式：长推理链（Long CoT），包含大量的验证和回溯
  • 中模式：中等长度的推理
  • 低模式：简洁直接的推理

每种模式又有两个版本：

  • 纯推理版
  • 工具集成版（调用 Python 做计算和验证）

数据来源：

  • 85K 个 AoPS（Art of Problem Solving）竞赛题——结构化且严谨
  • 262K 个 StackExchange-Math 问题——多样化且贴近真实场景

长上下文训练的效率优化

长推理链带来了训练效率问题：128K 上下文的训练速度很慢。Nemotron-Math 提出了顺序分桶策略：

  • 将训练样本按长度分桶
  • 同一批次内的样本长度相近
  • 避免大量 padding 浪费

这个策略将 128K 上下文的微调速度提高了 2-3 倍，且精度损失可忽略。

效果

Nemotron-Math 训练的模型在 AIME 2024/2025（美国数学邀请赛）上达到了 100% 的 maj@16 准确率（使用工具集成推理时）。

我的评论

750 万条推理轨迹的规模令人印象深刻，但更重要的是多模式设计。它暗示了一个关键判断：不是所有问题都需要长推理链。简单问题配长推理链是浪费；复杂问题配短推理链会导致错误。多模式数据让模型学会根据问题难度调整推理深度。

工具集成版本的价值也很大：让模型在推理过程中调用 Python 做数值计算和验证，相当于给推理链加了”检查点”。这是 STEM 领域特有的优势——推理过程可以被部分验证。

五、Long CoT 的涌现与构建

DeepSeek-R1 和 OpenAI o1 系列的成功，让 Long Chain-of-Thought 成为 2025 年最热门的研究方向之一。

Long CoT 的三个特征

根据综述论文 (Chen et al., 2025) 的总结，Long CoT 有三个核心特征：

  1. 深度推理（Deep Reasoning）：不是简单的步骤分解，而是真正的逻辑推导
  2. 广泛探索（Extensive Exploration）：在推理过程中探索多条路径
  3. 可行反思（Feasible Reflection）：发现错误时能回溯修正

构建 Long CoT 训练数据的方法

方法一：从强模型蒸馏

DeepSeek-R1 的 distillation 路线：用 R1 生成推理轨迹，然后用这些轨迹微调较小的模型。这种方法简单有效，但受限于教师模型的能力——蒸馏后的学生模型不可能超越教师。

研究 (Snorkel AI, 2025) 发现，蒸馏 Long CoT 时，推理链的结构比具体内容更重要。即使推理链中有一些小错误，只要整体结构（探索→验证→回溯→结论）是对的，蒸馏效果就不差。

方法二：RL 自发涌现

DeepSeek-R1-Zero 展示了一个惊人的结果：通过纯 RL 训练（GRPO 算法），Long CoT 可以自发涌现——模型自己学会了”wait, let me reconsider”和”alternatively”这样的反思模式。

但 R1-Zero 也暴露了纯 RL 的问题：无限重复、可读性差、语言混杂。实际产品化需要结合 SFT 来约束格式。

方法三：渐进式长度扩展

不一次性生成超长推理链，而是从短推理链开始，逐步扩展：

  1. 先在短 CoT 数据上训练
  2. 用训练好的模型生成稍长的 CoT
  3. 筛选正确的长 CoT 作为下一轮训练数据

这种”自举”策略可以不断延长推理链的长度，而不完全依赖外部教师模型。

我的评论

Long CoT 的数据构建面临一个根本性的矛盾：我们希望推理链足够长以展示深度思考，但又希望它足够精确以避免错误累积。 当前的解决方案——多模式蒸馏+RL 约束——是务实的，但可能不是最终形态。

我推测，更好的方向是”可验证的长推理”：在推理链的关键节点插入验证步骤（类似 Nemotron-Math 的工具集成），用执行结果来约束推理不偏离正确方向。STEM 领域天然适合这种方法，因为很多中间步骤可以被计算验证。

六、过程奖励模型的训练数据

Long CoT 的一个核心配件是过程奖励模型（Process Reward Model, PRM）——对推理链的每一步而非只对最终结果给奖励。

PRM 数据构建的挑战

构建 PRM 训练数据比构建结果奖励模型（ORM）难得多：

  • ORM：只需要知道最终答案对不对——可以通过执行或对比标准答案来自动验证
  • PRM：需要知道每一步推理对不对——这通常需要人工标注

OpenAI 的 PRM800K 是目前最大的人工标注 PRM 数据集，但其成本极高。

高效 PRM 数据构建框架

ACL 2025 的一篇工作提出了高效构建 PRM 数据的方法框架：

  • 蒙特卡洛树搜索：在每个推理步骤后，随机采样多条后续路径，用最终结果的正确率估计当前步骤的价值
  • 关键步骤识别：不对每一步都标注，只标注”关键分叉点”——即不同选择会导致显著不同结果的步骤
  • 自动化验证：对于数学问题，中间步骤可以通过符号计算部分验证

这种方法将 PRM 数据的标注成本降低了一个数量级，同时保持了接近人工标注的质量。

七、SciLitLLM：领域适配的数据管线

从数学推理转向更广泛的科学文献理解。SciLitLLM (Li et al., 2024) 提出了将通用 LLM 适配到科学文献领域的完整数据管线。

核心框架

SciLitLLM 采用 CPT + SFT 的混合策略，同时注入领域知识和任务能力：

CPT（继续预训练）数据构建：

  1. PDF 文本提取：从科学论文的 PDF 中提取文本
  2. 内容解析与纠错：修正 PDF 解析中的格式错误（表格、公式、参考文献的解析都是技术挑战）
  3. 质量过滤：剔除解析质量低的文档

SFT（有监督微调）指令合成：

  1. 用 LLM 生成多样化的科学文献理解指令
  2. 特别关注代表性不足的领域（如材料科学、地球科学——相比 NLP/CV，这些领域的训练数据极少）
  3. 产出：SciLitIns 数据集

SciLitIns 的设计

SciLitIns 的创新在于它不是简单的”阅读理解”指令，而是包含了科学文献特有的任务类型：

  • 关键信息提取：从长论文中提取方法、数据集、结果
  • 跨论文对比：对比两篇论文在方法论上的差异
  • 局限性分析：识别论文中的局限和潜在改进方向
  • 领域特定推理：需要领域知识才能回答的问题

效果

SciLitLLM（基于 Qwen2-7B）在科学文献理解基准上达到了与更大模型竞争的性能。

我的评论

SciLitLLM 的价值不在于单个模型的性能，而在于它建立的数据构建管线是可迁移的。同样的框架可以应用到法律、医学、金融等任何专业文献领域。

但它的一个局限是：CPT 阶段的数据仍然是单文档级别的。真正的科学文献理解往往需要跨文档——引用链追踪、方法对比、结论综合。这需要在数据构建中显式引入多文档任务。

八、OpenScholar：检索增强的科学问答

OpenScholar (Asai et al., 2024) 从另一个角度解决科学长上下文问题：不是让模型记住所有内容，而是教模型搜索和综合。

方法

OpenScholar 是一个检索增强的科学语言模型，发表在 Nature 上：

  1. 语义检索器：从 4500 万篇科学论文中检索相关片段
  2. 迭代反馈：模型生成初始回答后，识别需要更多证据的部分，再次检索
  3. 引用标注：生成的每个声明都标注来源论文

训练数据构建

为了训练 8B 的 OpenScholar 模型，研究者构建了高质量的训练数据：

  • 用强模型（GPT-4）在真实科学问题上的 RAG 轨迹作为训练数据
  • 每条数据包含：检索查询、检索结果、推理过程、最终答案、引用标注

效果

OpenScholar 8B 的回答质量被人类评审认为优于 GPT-4，在科学问答任务上达到了闭源模型的水平。

数据构建视角的启示

OpenScholar 的训练数据构建方法——从强模型的 RAG 轨迹中蒸馏——是长上下文科学问答的一个实用方案。它不需要模型有超长的上下文窗口，而是通过检索将相关信息集中到较短的上下文中。

但这也暗示了一个权衡：检索增强 vs 长上下文，哪个更适合 STEM？ 对于需要全面理解一篇长论文的任务（如论文审稿），长上下文更合适；对于需要综合多篇论文的任务（如综述写作），检索增强更合适。理想的方案可能是两者的结合。

九、CURIE：科学长上下文的能力边界

CURIE (Cui et al., 2025) 是 ICLR 2025 的工作，建立了科学长上下文能力的评估标准。

基准设计

  • 580 个问题-答案对，由各领域专家策展
  • 6 个学科：材料科学、凝聚态物理、量子计算、地理空间分析、生物多样性、蛋白质
  • 10 类任务：覆盖信息提取、长上下文理解、多步推理

关键发现

  1. 最好的模型准确率只有 32%——科学长上下文理解还远未解决
  2. 领域差异显著：模型在量子计算上表现相对好，在蛋白质测序上几乎完全失败
  3. 模型间差异：Gemini Flash 2.0 和 Claude-3 在跨领域一致性上最好

对数据构建的启示

CURIE 的发现直接指向数据缺口：

  • 蛋白质/生物序列：模型在这个领域几乎不工作，说明预训练数据中严重缺乏高质量的生物序列+自然语言的关联数据
  • 领域知识 ≠ 长上下文能力：模型可能有某个领域的知识（从预训练获得），但不具备在长文档中运用这些知识的能力——后者需要专门的训练数据
  • 多步推理是瓶颈：不是信息提取（模型做得还行），而是需要综合多个信息片段做推理的任务最难

十、SCALAR：基于引用的科学推理

SCALAR (EACL 2026) 提出了一种基于引用的长上下文科学推理评估方法。

核心思路

SCALAR 利用科学论文中的引用关系作为天然的推理测试：给定一篇论文的主体内容和参考文献列表，模型需要正确识别哪些引文支持了哪些论点。

这种设计的优势在于：

  • 数据自动获取：引用关系在论文中是现成的
  • 推理可验证：引用的正确性可以通过原文对比来验证
  • 天然长上下文：理解引用需要阅读整篇论文

数据构建方法

SCALAR 的数据构建不需要人工标注——直接从 arXiv 论文中提取引用关系，构建问答对。这种”自监督”的数据构建方式成本极低，可以大规模扩展。

十一、LongFaith：忠实推理数据合成

LongFaith (Yang et al., 2025) 解决长上下文推理数据合成中的一个核心问题：如何保证合成数据的忠实度？

问题

合成长上下文推理数据有三个常见问题：

  1. 幻觉：模型生成与上下文不符的推理步骤
  2. 无归属：推理结论没有明确的证据来源
  3. 知识冲突：模型依赖预训练知识而非给定的上下文

LongFaith 的解决方案

基于引用的推理提示：在数据合成时，要求每一步推理都引用上下文中的具体位置。这强制合成的推理链”有据可查”。

Ground Truth 整合：将标准答案整合到合成流程中，消除推理过程中的干扰。

三维忠实度框架：

  1. 验证推理（每步可验证）
  2. 归属（每步有来源）
  3. 上下文锚定（基于给定文本而非先验知识）

效果

在 LongFaith 数据上微调的模型在多跳推理数据集和 LongBench 上都有显著提升。

我的评论

LongFaith 的”引用即推理”设计特别适合 STEM 领域。科学论文本身就有严格的引用规范——每个结论都应该有证据支持。将这种规范内化到训练数据中，可以让模型学会”有据推理”的习惯。

十二、LongRePS：推理路径监督

LongRePS (Zhu et al., 2025) 探索了一个互补的方向：不是构建新数据，而是对现有的长上下文推理施加路径级别的监督。

方法

标准的训练只在最终答案上计算损失。LongRePS 在推理路径上也施加监督：

  1. 路径生成：对同一个长上下文问题，生成多条推理路径
  2. 路径评估：用启发式规则或验证器评估每条路径的质量
  3. 路径监督：将高质量路径作为正例、低质量路径作为负例，进行对比学习

STEM 场景的适用性

这种方法在 STEM 场景特别有价值，因为：

  • 数学推理的正确路径可以被验证（计算结果对不对）
  • 科学推理的归因可以被验证（引用了正确的文献吗）
  • 相比只监督最终答案，路径监督能让模型学会正确的推理过程

十三、TableLong：结构化表格数据的意外价值

一个出人意料的发现：结构化表格数据能显著增强模型的长上下文推理能力。

TableLong 的发现

Xie et al. (2026) 系统研究了不同数据类型对长上下文推理的影响，发现表格数据的效果最为显著：

  • 多个长上下文基准平均提升 +8.24%
  • 域外基准也有 +8.06% 的提升——泛化能力很强

为什么表格数据有效？

研究者用互信息分析给出了解释：

表格数据具有”周期性非消失依赖”。在表格中，每一行与表头之间有固定的对应关系，第 1 行第 3 列和第 100 行第 3 列遵循相同的语义。这种周期性结构为模型提供了一种”结构化的远距离注意力模式”——模型需要跨越很长的距离，但注意力模式是规律的。

这与自然语言的远距离依赖不同：自然语言的远距离引用是稀疏且不规律的，而表格的依赖是规律且密集的。后者对训练模型的远距离注意力能力更为高效。

TableLong 数据合成流程

基于上述发现，研究者提出了 TableLong 流程：

  1. 合成多样化的表格数据：不同领域（金融、科学、统计）、不同结构（宽表、窄表、嵌套表）
  2. 构造基于表格的推理任务：跨行对比、条件聚合、异常检测
  3. 用 RL 进行训练：利用表格推理任务的可验证性作为奖励信号

STEM 场景的启示

这个发现对 STEM 数据构建有直接意义：

  • STEM 文献中充满了表格——实验数据、参数配置、对比结果
  • 将这些表格与周围的文本分析组合，可能比纯文本长文档更有效地训练长上下文推理
  • 表格推理的可验证性使其天然适合 RL 训练

十四、方法论对比与选型建议

方法领域数据规模构建成本核心创新适用场景
Nemotron-CC-Math数学预训练1330 亿 token中多格式恢复数学基座能力
Nemotron-Math数学推理750 万轨迹高（需蒸馏）多模式+工具集成数学推理增强
SciLitLLM科学文献CPT+SFT 管线中领域指令合成科学领域适配
OpenScholar科学问答RAG 轨迹蒸馏高检索增强训练跨论文综合
LongFaith通用长文推理合成数据集低忠实度三维框架长上下文推理增强
TableLong通用长文推理合成表格低结构化依赖长上下文推理增强

选型建议：

  • 如果在训练数学推理模型：Nemotron-CC-Math（预训练）+ Nemotron-Math（后训练）是当前最完整的管线
  • 如果在适配科学领域：SciLitLLM 的 CPT+SFT 管线可直接复用，重点在 CPT 语料的质量
  • 如果在增强长上下文推理：LongFaith + TableLong 是成本最低、效果最明确的方案
  • 如果资源有限只能选一个：TableLong 的投入产出比可能最高——合成表格数据成本低，效果好，泛化强

十五、展望：STEM 长上下文数据的下一步

判断一：可验证推理将成为核心范式

STEM 领域的最大优势是推理过程可以被部分验证：数学计算可以被执行，实验数据可以被重新分析，引用关系可以被查证。

当前的训练范式还没有充分利用这个优势。未来的方向应该是：

  • 在推理链的关键节点插入验证步骤
  • 用执行结果（数学计算）或事实核查（引用验证）作为 RL 的奖励信号
  • 构建”推理+验证”的交替训练数据

Nemotron-Math 的工具集成版本和 LongFaith 的引用机制是这个方向的早期探索。

判断二：多文档科学推理是最大的数据缺口

当前的科学长上下文数据几乎都是单文档级别的——给一篇论文，回答问题。但科学研究的本质是多文档推理：一个研究问题的回答需要综合多篇论文的方法、数据和结论。

OpenScholar 通过检索来解决多文档问题，但这依赖检索的质量。更根本的解决方案是构建多文档科学推理的训练数据：

  • 利用引用网络构建”论文簇”（一篇核心论文+它的引用和被引用）
  • 在论文簇上构建需要跨文档推理的问题
  • arXiv 的引用关系和全文可获取性使这种数据构建在技术上完全可行

判断三：结构化数据（表格、公式、图表）是被低估的信号

TableLong 的发现只是冰山一角。STEM 文献中充满了结构化信息：

  • 表格：实验结果对比、参数配置
  • 公式：数学推导的关键步骤
  • 图表：数据可视化、架构图

当前的预训练数据处理往往将这些结构化信息”扁平化”为纯文本，丢失了关键的结构信息。将结构化信息保留在训练数据中，并构建利用这些结构进行推理的任务，是一个高价值方向。

判断四：领域特定 vs 通用长上下文是一个假选择

CURIE 的发现表明，不同科学领域的长上下文能力差异巨大。一个在物理领域表现良好的模型可能在生物领域完全失效。

但这不意味着需要为每个领域训练单独的模型。更好的方案是：

  1. 通用长上下文推理能力（通过 TableLong、LongFaith 等方法建立）
  2. + 领域知识注入（通过 SciLitLLM 式的 CPT 注入）
  3. + 领域特定推理模式（通过领域指令数据微调）

这三层是可以叠加的，关键在于训练数据的组织方式。

我的优先级排序

  1. 立刻可做：TableLong + LongFaith 的结合——成本最低，效果最确定，适用于所有 STEM 场景
  2. 短期高价值：构建 arXiv 论文簇的多文档推理数据——利用现有的引用网络数据，技术上无难点，但数据工程量不小
  3. 中期关键：STEM 结构化数据（表格+公式）的保留和利用——需要改进预训练数据管线，但 TableLong 的发现表明回报值得
  4. 长期方向：可验证推理的闭环训练——将推理、验证、反馈整合为一个循环，在 STEM 领域的每个子方向都能落地

参考文献

  1. Mahabadi et al. “Nemotron-CC-Math: A 133 Billion-Token-Scale High Quality Math Pretraining Dataset.” arXiv:2508.15096, 2025.
  2. Du et al. “Nemotron-Math: Efficient Long-Context Distillation of Mathematical Reasoning from Multi-Mode Supervision.” arXiv:2512.15489, 2025.
  3. Li et al. “SciLitLLM: How to Adapt LLMs for Scientific Literature Understanding.” ICLR 2025.
  4. Asai et al. “OpenScholar: Synthesizing Scientific Literature with Retrieval-augmented LMs.” Nature, 2026.
  5. Cui et al. “CURIE: Evaluating LLMs On Multitask Scientific Long Context Understanding and Reasoning.” ICLR 2025.
  6. Yang et al. “LongFaith: Enhancing Long-Context Reasoning in LLMs with Faithful Synthetic Data.” ACL Findings 2025.
  7. Zhu et al. “Chain-of-Thought Matters: Improving Long-Context Language Models with Reasoning Path Supervision.” EMNLP Findings 2025.
  8. Xie et al. “Probing How Scalable Table Data Enhances General Long-Context Reasoning.” arXiv:2603.21719, 2026.
  9. Chen et al. “Towards Reasoning Era: A Survey of Long Chain-of-Thought for Reasoning.” arXiv:2503.09567, 2025.
  10. Ling et al. “LongReason: A Synthetic Long-Context Reasoning Benchmark via Context Expansion.” arXiv:2501.15089, 2025.
  11. EACL 2026. “SCALAR: Scientific Citation-based Live Assessment of Long-context Reasoning.”
  12. ACL 2025. “An Efficient and Precise Training Data Construction Framework for Process-supervised Reward Model.”
  13. Abdin et al. “Phi-4 Technical Report.” arXiv:2412.08905, 2024.
  14. Penedo et al. “The FineWeb Datasets: Decanting the Web for the Finest Text Data.” 2024.