同行评审与撤稿数据：构建「批判性科学推理」中训练数据集
OpenReview、WithdrarXiv、OSF 三类开放数据的系统性利用方案：将「专家批判」「作者自纠」「预注册偏差」三种错误信号转化为高质量中训练数据，填补预训练语料中「评估性推理」的结构性空白。
核心洞见一句话
预训练语料里充斥着「陈述性」知识，却几乎没有「评估性」推理——即「这个论证哪里有问题，为什么」。OpenReview 的 peer review、arXiv 的撤稿记录、OSF 的预注册数据，是目前公开数据里最集中的批判性推理样本。
一、问题定位：预训练数据的结构性盲区
现有大模型预训练语料以「陈述」为主：论文写的是结论，教科书写的是知识，代码注释写的是实现，百科写的是事实。这类数据训练出来的模型，擅长「生成」，但在面对以下场景时系统性偏弱：
- 批判已有论证：找出方法论漏洞、数据缺陷、逻辑跳跃
- 识别错误：区分「听起来对」和「实际上对」
- 自我校正：主动发现并修正自己推理链中的问题
- 评估研究价值：判断一个想法是否值得继续深入
这些能力的缺失，在 RLHF 阶段很难补回来——那个阶段的数据量级和覆盖面都不足以改变底层表征。这是一个需要在中训练阶段系统性解决的问题。
二、数据来源全景
2.1 OpenReview：专家批判的大规模语料库
平台简介：OpenReview 是 NeurIPS、ICLR、ICML 等顶会的公开评审平台，评审过程（投稿 → reviewer 评分与意见 → 作者 rebuttal → meta-review → 最终决定）全部公开。
数据规模：
- ICLR 历年累计（2017-2025）：约 10 万篇论文提交，每篇 3-6 条 review
- NeurIPS（近 5 年公开）：约 5 万篇，结构类似
- 已整理开源数据集（HuggingFace
Hugging-zheng/Paper-Review-Dataset）：ICLR 2023-2025 直接可用
可获取内容：
| 字段 | 训练价值 |
|---|---|
| 论文全文（PDF/LaTeX） | 输入端：完整技术论证 |
| Reviewer 评分（1-10） | 质量信号，可用于 reward 建模 |
| Reviewer 评论 | 专家批判视角，核心训练素材 |
| 作者 Rebuttal | 「被批判后如何回应」的推理链 |
| Meta-review | 高层综合评估，稀缺的「多意见整合」样本 |
| 最终决定（Accept/Reject） | 强监督信号 |
获取方式：官方 Python SDK（openreview-py），无需登录即可访问公开 venue 数据，速率限制宽松。
2.2 WithdrarXiv：作者自我纠错的稀缺信号
背景：arXiv 允许作者撤回预印本（标记 withdrawn），部分会附上撤稿声明（retraction comment）。2024 年 12 月，宾夕法尼亚大学与 arXiv.org 合作发布了 WithdrarXiv 数据集，这是第一个系统整理 arXiv 撤稿记录的大规模数据集。
数据规模：
- 覆盖 1991 年至 2024 年 9 月，共 14,000+ 篇撤回论文
- 包含论文全文（撤稿前版本）及撤稿声明
- CS、物理、数学、生物等多学科覆盖
此外，Retraction Watch 数据库（已与 Crossref 集成，每日更新）追踪了 4 万+ 条正式期刊撤稿记录，其中约 3,000-5,000 篇有对应 arXiv 预印本，可做预印本 → 正式撤稿的跨源配对。
核心价值：撤稿声明是极为罕见的「作者主动承认错误」数据，典型模式包括：
- “We discovered a fundamental flaw in the proof of Theorem 2…”
- “The experimental results cannot be reproduced under…”
- “The dataset contains labeling errors that invalidate…”
这类文本在整个预训练语料里几乎缺失，是训练模型「自我校正」意识的关键素材。
2.3 Open Science Framework (OSF)：假设-执行-结果的完整链条
平台简介：OSF 是开放科学基础设施平台，支持预注册、数据共享、实验日志公开。
三类可利用的数据结构：
① 预注册（Preregistration） 研究者在实验前公开写下：研究问题、假设、方法、分析计划。之后的实际结果公开对比。这构成了天然的「计划 → 执行 → 偏差分析」链条。
- 当前 OSF 上已有 10 万+ 条预注册记录
- 可构建「预注册描述 + 实际论文结论 + 偏差分析」的三元组训练样本
② Null Results（零结果论文） OSF 上有专门鼓励发表无显著结果的项目。预训练语料中几乎没有「做了实验，假设未被支持，以下是分析」类型的文本，这类数据对减少模型「肯定偏见」（tendency to confirm hypotheses）有独特价值。
③ 开放分析日志 部分项目完整公开了：原始数据 + 分析脚本 + 中间结果 + 最终论文。可构建「数据 → 分析 → 结论」的端到端推理链，类似数学题的解题过程，但针对科学研究场景。
三、业界相关工作
目前利用这些数据的工作主要集中在「生成更好的 review」，尚无系统性中训练方向的研究。
3.1 Review 生成系统
OpenReviewer（arXiv 2412.11948，NAACL 2025）
- 用 79,000 条 ICLR/NeurIPS 历史 review 对 Llama-8B fine-tune
- 在 400 篇测试论文上，比 GPT-4、Claude-3.5 生成的 review 更具批判性、更接近人类分布
- 模型和 demo 已开源（HuggingFace
maxidl/Llama-OpenReviewer-8B）
DeepReview（arXiv 2503.08569，ACL 2025）
- 数据来源：ICLR 2024-2025 共 18,976 篇论文（OpenReview + arXiv 交叉）
- 引入「深度思考过程」模拟人类 reviewer 的多步推理
- 解决现有 AI review 领域知识不足、推理幻觉的问题
REMOR（arXiv 2505.11718）
- 专门针对 AI review「过于表扬、过于浅显」问题
- 用多步推理训练出更具批判深度的 review 模型
3.2 Review + 研究的闭环框架
CycleResearcher / CycleReviewer（arXiv 2411.00816，ICLR 2025）
- 构建了「研究生成」和「评审模拟」的迭代强化学习框架
- 自建 Review-5k 和 Research-14k 数据集
- CycleReviewer 在预测论文分数时，MAE 比个体人类 reviewer 降低 26.89%
- 这是目前最接近「把 review 数据用于强化学习」的工作，但仍聚焦于 review 生成任务本身
3.3 多轮对话建模
Peer Review as Multi-Turn Dialogue（NeurIPS 2024）
- 将「投稿 → 评审 → rebuttal → 决定」建模为多轮对话
- 数据集包含 30,000+ 篇论文的完整交互链路
- 探索了 reviewer-author 交互的动态建模
3.4 核心空白
以上所有工作的共同局限：它们都把目标定在「生成更好的 review」（SFT/RLHF 任务），没有人系统地问：这些数据能否在中训练阶段提升模型的底层批判性推理能力？
四、本方案的核心主张
4.1 重新定义数据类别：「错误感知数据」
把三类数据放在一个统一框架下理解：
| 数据来源 | 错误信号类型 | 发现者 |
|---|---|---|
| OpenReview | 同行识别的方法论缺陷 | 领域专家（第三方） |
| WithdrarXiv | 作者自我发现的根本性错误 | 作者（第一方） |
| OSF 预注册偏差 | 假设与现实的系统性偏离 | 研究过程本身 |
三类数据覆盖了「外部批判 → 内部自纠 → 结构性偏差」的完整错误谱系，是目前最系统化的「错误感知」训练信号。
4.2 与现有中训练数据的差异化定位
| 数据类型 | 训练模型做什么 |
|---|---|
| 数学证明（LEAN） | 形式化验证推理步骤 |
| 代码（GitHub） | 执行和调试程序逻辑 |
| 论文正文（arXiv） | 陈述性知识积累 |
| 本方案数据 | 评估推理链的有效性、识别并解释错误 |
这是一个现有中训练方案几乎没有覆盖的维度。
4.3 目标能力
通过系统性混入这类数据，预期提升的能力：
- 批判性阅读：读一段论证，能指出具体的逻辑漏洞或数据问题
- 自我校正倾向：在推理链出现矛盾时，主动暂停和重新审视
- 置信度校准：对不确定的结论保持适度怀疑，而非过度肯定
- 科研诚信感知：识别数据操纵、过度声明、方法论滥用等模式
五、数据构建方案
5.1 OpenReview 数据处理
基础样本构造：
输入：论文摘要 + 正文
输出：Reviewer 评分 + 批评意见（标注具体问题段落）增强样本（利用 rebuttal 数据）：
输入：论文 + 初始 review
推理链：作者如何回应批评（哪些接受、哪些辩护）
信号：最终分数变化（是否被说服）偏好数据（用于 RLHF/DPO）：
- 高质量 review（被 AC 采纳、评分与最终决定一致）vs 低质量 review（与最终决定背离）
- 天然的 chosen/rejected 配对，无需人工标注
5.2 WithdrarXiv 数据处理
样本构造：
输入：论文原文（撤稿前版本）
输出：撤稿声明（为什么错了）挑战与过滤策略：
- 过滤掉内容为空或过于简短的声明（「withdrawn by author」类无信息声明）
- 重点保留有具体技术说明的声明（「flaw in proof」「data contamination」等）
- 估计有效样本约 3,000-5,000 条（约 20-35% 有实质性说明）
跨源配对（与 Retraction Watch）：
- 正式期刊撤稿 + arXiv 预印本版本对比
- 可构建「预印本（有问题的版本）+ 撤稿原因 + 最终更正」三元组
5.3 OSF 数据处理
预注册 → 结果偏差分析：
输入：预注册描述（假设 + 方法 + 预期结果）
输出：实际论文结论
推理目标：识别两者之间的偏差及其原因难点：OSF 数据非结构化程度高，需要设计专门的提取管线，从自由文本预注册中识别「假设」和「预期」字段。
六、数据规模估计与配比建议
| 数据源 | 原始规模 | 估计高质量样本 |
|---|---|---|
| OpenReview（ICLR+NeurIPS，2017-2025） | ~15 万篇论文，~60 万条 review | ~20 万条高质量 review-论文配对 |
| WithdrarXiv + Retraction Watch 交叉 | ~1.7 万条撤稿记录 | ~4,000 条有实质说明的样本 |
| OSF 预注册（可机器解析部分） | ~10 万条 | ~1.5 万条结构清晰的配对 |
| 合计 | ~23 万条 |
中训练配比建议：作为高质量增强数据，在退火阶段以 3-8% 的比例混入，不适合作为主体数据源。与数学推理数据、代码数据互补，共同构建「批判性推理」能力。
七、潜在挑战
1. 领域集中：OpenReview 的数据集中在 CS/ML，对其他学科的覆盖有限，训练出的批判能力可能有领域偏向。可以通过 PubPeer（生物医学同行评审）、SSRN（经济学）等来源扩展。
2. Review 质量参差：并非所有 reviewer 的评论质量都高，部分 review 流于表面或带有偏见。需要建立质量筛选机制（评分一致性、与最终决定的相关性等）。
3. 撤稿数量级偏小：4,000 条有效撤稿样本量级较小，不足以单独形成训练信号，需与 peer review 数据捆绑使用，作为稀缺的「高强度错误信号」。
4. 污染风险：部分 OpenReview 上的论文可能已在预训练数据中出现，需要去重和时间切分（只使用比预训练截止日期更新的数据）。
八、下一步
- 数据探索：拉取 ICLR 2023-2025 全量数据，分析 review 质量分布，确定过滤标准
- 小规模验证：用 1000 条高质量 review-论文配对做 SFT pilot，测试对批判性问答任务的影响
- 评估基准设计：现有 benchmark 缺乏「批判性推理」维度，需要定制评估集（如：给定论文+有缺陷的论证，模型能否准确定位问题）
- 扩展来源调研：PubPeer、OpenReview 以外的 venue（ACL Anthology 等）、SSRN 数据可及性评估
附：关键数据资源索引
| 资源 | 获取方式 | 备注 |
|---|---|---|
| OpenReview 全量数据 | pip install openreview-py | 无需登录，公开 venue 直接访问 |
| ICLR 2023-2025 整理版 | HuggingFace Hugging-zheng/Paper-Review-Dataset | 直接可用 |
| WithdrarXiv | arXiv 2412.03775，数据集随论文开放 | 14,000+ 条 |
| Retraction Watch | retractiondatabase.org（Crossref 集成） | 每日更新，4 万+ 条 |
| OSF 预注册 | api.osf.io（开放 API） | 10 万+ 条，结构化程度低 |
| PeerRead（基线对比） | GitHub allenai/PeerRead | NAACL 2018，含 accept/reject 标签 |