研究提案

[WIP] 维基百科版本历史：七个维度的训练数据价值与具体落地方案

系统性研究提案，探讨如何将维基百科 6800 万条编辑历史转化为幻觉检测、写作改写、知识抽取、中立性训练等多维度高质量训练数据，重点拆解幻觉检测数据的完整构建 pipeline 与规模估算。

Wikipedia 训练数据 幻觉检测 数据工程 LLM 版本历史 知识抽取

摘要

维基百科是 LLM 预训练的标配语料，但几乎所有使用方式都只取了它的当前快照——最终版本的文字内容。这相当于拿到一本经历了数十年反复修订的百科全书，只读了最后一页。

本提案主张：维基百科真正的价值不在于它知道什么，而在于它如何被修改。每一次 edit 都是一条人类行为记录——有人发现了错误、改善了表达、中立化了偏见、补充了细节。这些修改行为，加上编辑者留下的文字说明（edit summary），构成了迄今为止规模最大、标注质量最高的自然语言行为数据集。

英文维基百科截至 2025 年底拥有超过 6800 万条编辑历史，中文维基百科超过 2000 万条。这个数字比 TruthfulQA（815 题）大出五个数量级。

1. 为什么版本历史是被低估的数据金矿

1.1 规模与独特性

维基百科版本历史的独特之处在于三层元信息的叠加：

  1. 时间戳：每次编辑的精确时间，支持时间切片分析
  2. Edit Summary：编辑者用自然语言写下的修改原因（“fixed incorrect birth year”、“neutralize POV in lead section”、“clarified ambiguous wording”）
  3. 前后版本对比：精确的 diff，知道哪些文字被删除、哪些被添加

这三层信息组合在一起，就产生了其他数据来源完全没有的能力：我们不只知道正确是什么，还知道曾经错在哪里、为什么错、谁发现了它。

1.2 当前使用现状

主流 LLM 训练中，维基百科语料的使用方式极为单一：

  • GPT 系列（Common Crawl + Wikipedia）：取 Wikipedia 当前文本，作为高质量知识语料
  • LLaMA / Mistral 等开源模型：同样只用静态文本快照
  • RAG 系统：用维基百科作为检索知识库，依然是当前版本

版本历史数据几乎从未被系统利用。少数例外是时间感知相关研究（如 TiMiT 数据集），但覆盖维度极窄。

1.3 与其他数据来源的根本差异

数据来源规模来源真实性错误类型标注修改理由
TruthfulQA815 题手工构造无无
HaluEval~35kLLM 合成粗粒度无
维基百科纠错 edit估算 500万+真实流传错误人类标注edit summary

关键差异：合成数据中的「错误」是研究者或模型制造的，维基百科里的「错误」是真实写入过、被真实读者发现的。这代表了人类（和模型）实际会犯的错误分布，而不是理想化实验室环境下的错误分布。

2. 七个维度的训练数据价值

维度 1：时间感知与知识截止日期校准

通过对同一实体在不同时间点的版本进行切片，可以构建时间标记的 QA 对，训练模型的时间感知能力。

{
  "dimension": "temporal_awareness",
  "entity": "Elon Musk",
  "question": "What is Elon Musk's net worth?",
  "snapshots": [
    {"date": "2020-01-01", "answer": "approximately $27 billion"},
    {"date": "2022-01-01", "answer": "approximately $300 billion"},
    {"date": "2024-01-01", "answer": "approximately $200 billion"}
  ],
  "training_signal": "answer_is_time_dependent"
}

训练目标：让模型学会回答「截至[某时间]，X 是什么」，而不是把历史事实当成永恒真理。这个方向已有一定研究积累（参考 TiMiT、TemporalWiki 数据集），本提案不作为优先级展开。

维度 2：幻觉检测与纠错训练数据（🔴 最高价值方向）

来源：edit summary 中含有明确纠错意图的编辑，例如：

“incorrect population figure”, “wrong birth date”, “this is not true, source says…”, “fix factual error”, “removed unsupported claim”

数据结构：三元组 —— 错误陈述 + 修正陈述 + 错误类型

错误类型分类体系（8 类）：

类型说明示例
numerical_error数值、日期、百分比错误把出生年份 1965 写成 1956
causal_inversion因果关系倒置”A 导致了 B” 实为 “B 导致了 A”
entity_confusion把 A 的属性安在 B 身上把爱因斯坦的奖项写到了普朗克条目
overgeneralization把特例当通则”所有哺乳动物都……” 实为少数
tense_error时态混淆（已发生写成进行中）“该公司目前总部位于……”（已搬迁）
unsupported_claim引用来源不支持该结论注脚指向的文章并未提及该数据
scope_error适用范围错误（地区/时代限制）“在美国……”实为”在部分州……”
missing_context缺失关键限定条件导致误导省略了”在特定条件下”等限定

完整 JSON 示例：

{
  "id": "wiki-hallucination-00142857",
  "source": {
    "article": "Marie Curie",
    "revision_id_before": 1082341902,
    "revision_id_after": 1082341987,
    "edit_timestamp": "2023-04-12T14:22:05Z",
    "edit_summary": "Fixed incorrect Nobel Prize year - she won in 1903, not 1905"
  },
  "error_statement": "Marie Curie was awarded the Nobel Prize in Physics in 1905, becoming the first woman to receive the honor.",
  "corrected_statement": "Marie Curie was awarded the Nobel Prize in Physics in 1903, becoming the first woman to receive the honor.",
  "error_type": "numerical_error",
  "error_subtype": "date_year",
  "diff": {
    "deleted": "in 1905",
    "inserted": "in 1903"
  },
  "verification": {
    "claim_verifiable": true,
    "ground_truth_source": "Nobel Prize official records",
    "confidence": 0.98
  },
  "metadata": {
    "article_language": "en",
    "editor_type": "registered",
    "edit_size_chars": 4
  }
}

维度 3：写作质量提升改写对

来源：内容改进类 edit，edit summary 含有 “clarify”、“rewrite”、“more specific”、“expand”、“simplify”、“better wording” 等关键词。

子类型映射：

子类型转变方向典型 edit summary 关键词
vague_to_specific模糊表达→具体数据”more specific”, “added details”
passive_to_active被动语态→主动语态”improved flow”, “rewrote”
verbose_to_concise冗长→精简”trimmed”, “concise”, “remove redundant”
informal_to_formal口语→书面”encyclopedic tone”, “formal language”

与 EditBench（Xu et al., 2022）和 PEER（Schröder et al., 2021）相比，维基百科改写对的优势在于：来源于真实百科写作场景，编辑者有明确的质量标准（Wikipedia Manual of Style），改写目标清晰。

{
  "id": "wiki-rewrite-00029384",
  "dimension": "writing_quality",
  "subtype": "vague_to_specific",
  "before": "The company grew significantly in the early 2000s.",
  "after": "The company's annual revenue grew from $120 million in 2001 to $890 million in 2007, a compound annual growth rate of approximately 39%.",
  "edit_summary": "added specific revenue figures per source",
  "improvement_axis": ["specificity", "verifiability"],
  "article": "Amazon (company)",
  "section": "History"
}

维度 4：知识结构化提取训练数据

来源：infobox 字段被新增或修正的 edit。这类 edit 代表编辑者认为某段正文中的结构化信息值得提取到 infobox 中。

为什么优于合成 IE 数据：DocRED、REBEL 等数据集的关系三元组是从文本中人工标注或自动抽取的，而 infobox 编辑提供的 ground truth 是「编辑者在阅读正文之后认为应该提取的字段」，天然包含了人类的信息抽取判断。

与 REBEL（Cabot & Navigli, 2021）的对比：REBEL 基于 Wikipedia 生成，但使用的是静态文本+Wikidata 对齐；infobox edit 提供了「从段落到结构化字段」的动态抽取证据链。

{
  "id": "wiki-ie-00071829",
  "dimension": "structured_extraction",
  "article": "Christopher Nolan",
  "source_paragraph": "Nolan was born on July 30, 1970, in London, England. He attended Haileybury and Imperial Service College before studying English literature at University College London, where he became interested in filmmaking and shot his first short film.",
  "infobox_field_added": {
    "field_name": "birth_date",
    "field_value": "1970-07-30",
    "field_type": "date"
  },
  "extraction_task": {
    "input": "source_paragraph",
    "target_field": "birth_date",
    "target_value": "1970-07-30"
  },
  "edit_summary": "Added birth date to infobox per article body"
}

维度 5：中立性改写数据（NPOV 训练）

维基百科的核心方针之一是「中立的观点」（NPOV，Neutral Point of View）。大量编辑专门针对带有主观色彩或倾向性的表述进行中立化改写。

来源：edit summary 含有 “NPOV”、“POV”、“neutralize”、“biased”、“promotional tone”、“weasel words” 等关键词。

{
  "id": "wiki-npov-00018293",
  "dimension": "neutrality",
  "biased_text": "The revolutionary new technology completely transformed the industry and was universally praised by experts.",
  "neutral_text": "The technology was adopted by several major industry players and received positive reviews from some analysts, though others questioned its long-term viability.",
  "bias_types": ["superlative_language", "unsourced_universality", "promotional_tone"],
  "edit_summary": "removed promotional language per NPOV policy"
}

应用场景：训练模型识别「过度使用形容词」「未标明来源的普遍化断言」「情感色彩词汇」等偏见模式，对内容审核、新闻摘要、商业文案中立化等任务有直接价值。

维度 6：摘要与展开能力训练

维基百科 stub 页面（内容不完整的条目）被扩充，或冗长段落被压缩，形成天然的双向摘要训练数据。

{
  "id": "wiki-summary-00093821",
  "dimension": "summarization",
  "direction": "expansion",
  "stub_version": "Quantum entanglement is a physical phenomenon that occurs when two particles interact.",
  "expanded_version": "Quantum entanglement is a physical phenomenon where two or more particles become correlated such that the quantum state of each particle cannot be described independently of the others, even when separated by large distances. Einstein famously called it 'spooky action at a distance.' Experimental confirmation was provided by Alain Aspect's 1982 experiments, and the phenomenon underlies emerging technologies such as quantum cryptography and quantum computing.",
  "edit_summary": "expanded stub with proper definition and context"
}

这是双向任务的天然配对：同一条目的不同版本之间，既可以做「详→简」的摘要训练，也可以做「简→详」的内容扩充训练。

维度 7：多语言知识视角对齐

同一个实体（如「春节」「Tibet」「孔子」）在英文、中文、日文维基百科中的表述差异，反映了不同文化的知识框架和叙事重点。

与 XQuAD（Artetxe et al., 2020）、MKQA（Longpre et al., 2021）相比，维基百科跨语言差异数据的优势在于：不是翻译对（XQuAD 是人工翻译），而是独立写作的不同文化视角，更适合训练「文化感知型」多语言模型。

3. 重点方案：幻觉检测数据的具体构建

3.1 为什么幻觉检测是优先级最高的方向

幻觉（Hallucination）是 LLM 可靠性的核心障碍。现有幻觉数据集的局限如下：

  • TruthfulQA（Lin et al., 2022）：817 题，手工标注，覆盖面窄，无法扩展，且问题设计本身带有研究者的启发性偏见
  • HaluEval（Li et al., 2023）：约 35k 样本，由 ChatGPT 生成幻觉句子，但合成错误的分布与真实 LLM 幻觉分布存在系统性偏差
  • FActScore（Min et al., 2023）：基于模型生成的传记类文本进行事实核查，依赖模型生成结果，缺乏细粒度错误类型标注，且无法覆盖「从未被模型生成过但曾真实流传的错误」

Wiki 纠错数据的核心优势：

  1. 真实性：这些错误曾真实存在于维基百科中，被真实用户读取、引用，然后被真实编辑者发现并纠正——代表真实错误分布
  2. 规模：估算有效样本可达百万级（见 3.4 节），远超现有任何幻觉数据集
  3. 标注质量：edit summary 是人类用自然语言写的纠错理由，质量远高于 LLM 自动标注
  4. 错误多样性：覆盖数值、因果、实体、时态等多种真实错误类型

3.2 数据采集 Pipeline

Step 1: 获取 Wikipedia Dump
   ├── 来源：https://dumps.wikimedia.org/enwiki/
   ├── 文件：enwiki-YYYYMMDD-stub-meta-history.xml.gz（包含所有修订版本元数据）
   └── 或用 MediaWiki API：action=query&prop=revisions&rvprop=ids|timestamp|comment|content

Step 2: 解析 Edit History，提取 Edit Summary
   ├── 解析 XML dump，提取每个 revision 的 (rev_id, parent_id, timestamp, comment, contributor)
   ├── 对每对 (parent_rev, current_rev) 提取正文 diff（使用 python-Levenshtein 或 diff-match-patch）
   └── 输出格式：(article_id, rev_id, timestamp, summary, diff_added, diff_deleted)

Step 3: 规则过滤纠错类 Edit
   ├── 关键词白名单（edit summary 匹配）：
   │   "incorrect", "wrong", "fix", "not true", "factual error",
   │   "false", "inaccurate", "corrected", "bad info", "misleading"
   ├── diff 长度过滤：正文变化量在 5-500 字符之间（过小可能是标点，过大可能是段落重写）
   └── 段落级对齐：确保修改发生在同一段落内（避免跨段重组干扰）

Step 4: 去噪处理
   ├── 过滤 vandalism 回退：
   │   - edit summary 包含 "rv"、"revert"、"rvv"、"vandal" 且 diff 是整段删除
   │   - 使用 ORES（Objective Revision Evaluation Service）得分过滤（ORES damaging score > 0.7）
   ├── 过滤机器人编辑：contributor 在已知 bot 列表中（Wikipedia:Bots/Status）
   ├── 过滤纯格式修改：diff 只涉及空格、标点、链接语法、模板参数，无语义变化
   └── 过滤 IP 匿名编辑（可选，降低噪音，但损失约 20% 样本）

Step 5: LLM 细粒度错误类型分类
   ├── 输入：(error_statement, corrected_statement, edit_summary)
   ├── Prompt：让 LLM 判断属于 8 类错误中的哪一类（见第 2 节维度 2 分类体系）
   ├── 置信度过滤：保留置信度 > 0.85 的分类结果
   └── 模型选择：优先使用事实核查能力强的模型（GPT-4o / Claude 3.5 Sonnet）

Step 6: 质量抽样验证
   ├── 每种错误类型随机抽取 200 条，人工验证准确率
   ├── 目标：分类准确率 > 90%，事实错误识别准确率 > 85%
   └── 输出质量报告，用于指导后续过滤规则调整

3.3 完整数据格式示例

{
  "id": "wiki-hallucination-en-20240815-1094728",
  "metadata": {
    "article_title": "Albert Einstein",
    "article_id": 736,
    "language": "en",
    "revision_before": {
      "id": 1238291047,
      "timestamp": "2024-08-14T09:12:33Z"
    },
    "revision_after": {
      "id": 1238301592,
      "timestamp": "2024-08-15T11:45:02Z"
    },
    "editor": {
      "type": "registered",
      "edit_count_approx": "500+"
    },
    "edit_summary_raw": "Corrected: Einstein did NOT renounce German citizenship in 1933, he was stripped of it by the Nazi government in 1934",
    "ores_scores": {
      "damaging": 0.04,
      "goodfaith": 0.97
    }
  },
  "error_record": {
    "error_statement": "In 1933, Einstein renounced his German citizenship in protest against the Nazi regime and emigrated to the United States.",
    "corrected_statement": "In 1933, Einstein emigrated to the United States; in 1934, the Nazi government stripped him of his German citizenship.",
    "diff": {
      "context_before": "...and emigrated to the United States.",
      "deleted_span": "Einstein renounced his German citizenship in protest against the Nazi regime and emigrated to the United States.",
      "inserted_span": "Einstein emigrated to the United States; in 1934, the Nazi government stripped him of his German citizenship."
    }
  },
  "classification": {
    "error_type": "causal_inversion",
    "error_subtype": "agency_reversal",
    "description": "The subject's agency is inverted: Einstein did not actively renounce his citizenship; it was revoked by an external actor",
    "secondary_type": "numerical_error",
    "secondary_subtype": "date_year",
    "llm_confidence": 0.94,
    "classifier_model": "gpt-4o-2024-08-06"
  },
  "training_metadata": {
    "suitable_for": ["hallucination_detection", "factual_correction", "sft_preference_pair"],
    "difficulty": "medium",
    "domain": "biography",
    "entity_type": "person"
  }
}

3.4 规模估算

统计层级数量说明
英文 Wikipedia 总 revision 数~6800 万截至 2025 年底
有 edit summary 的 revision~3400 万（约 50%）大量 IP 编辑无 summary
关键词匹配到纠错类~340 万（约 10%）基于经验估算
diff 长度过滤后保留~200 万过滤纯格式/大段重写
去噪后（去 vandalism、bot、格式）~120 万主要损耗在 vandalism 回退
LLM 分类置信度过滤后~80-100 万高质量有效样本

对比现有数据集：

  • TruthfulQA：817 条 → 本方案约 1000 倍
  • HaluEval：~35,000 条 → 本方案约 25-30 倍
  • FActScore 评估集：~500 条传记 → 量级不可比

如加入中文维基百科数据，可额外补充约 30-50 万条（中文 edit 总数约 2000 万，质量略低于英文）。

3.5 具体训练用途

① 中间训练阶段（Continual Pre-training）

将纠错 edit 的「错误陈述」作为反例语料混入预训练，让模型在见过大量真实知识的同时，也见过真实错误的模式。关键点：必须明确标记为「反例」（通过特殊 token 或 prompt wrapper），避免让模型学会错误事实。

[FACTUAL_ERROR] Marie Curie was awarded the Nobel Prize in Physics in 1905. [/FACTUAL_ERROR]
[CORRECTION] Marie Curie was awarded the Nobel Prize in Physics in 1903. [/CORRECTION]

② SFT 阶段：幻觉识别任务

构造 instruction-following 格式，训练模型主动识别幻觉：

{
  "instruction": "请判断以下陈述是否存在事实错误，如果有，请指出错误类型并给出正确版本。",
  "input": "爱因斯坦在1933年主动放弃德国国籍，以示对纳粹政权的抗议。",
  "output": "该陈述存在因果倒置错误（agency_reversal）。历史事实是：1934年，纳粹政府主动剥夺了爱因斯坦的德国国籍，而非爱因斯坦主动放弃。正确表述：爱因斯坦于1933年移居美国，1934年被纳粹政府剥夺国籍。"
}

③ RLHF 阶段：奖励模型的负样本

将错误陈述作为 RM 训练的负样本，对应正确陈述作为正样本，形成 preference pair。这让奖励模型学会识别「听起来合理但事实有误」的输出，而不只是识别「格式不好」或「态度粗鲁」的输出。

4. 技术挑战与应对方案

4.1 Vandalism 过滤

维基百科中约有 7-10% 的 edit 是破坏性编辑（vandalism），这些编辑故意写入错误内容，随后被快速回退。如果不过滤，会引入大量高噪音样本。

应对方案：

  • 使用 Wikipedia 官方的 ORES（Objective Revision Evaluation Service）得分，过滤 damaging score > 0.7 的 revision
  • 检测模式：edit summary 含 “rv”/“revert” 且发生在被编辑后 24 小时内的快速回退，倾向于是 vandalism 被撤销，原 edit 即为 vandalism
  • 注册用户编辑的 vandalism 率远低于匿名 IP 编辑，可分层处理

4.2 Edit Summary 质量不一

约 50% 的 revision 没有 edit summary，或 summary 极为简短（“edit”、”.”、空白）。

应对方案：

  • 无 summary 的 edit 不代表没有价值——可以通过 diff 内容本身进行分类（基于 diff 的语义分类，无需依赖 summary）
  • 对 summary 质量做分层：高质量 summary（>10 字符，含实质性描述）优先处理，无 summary 的作为第二批次

4.3 语言不平衡

英文数据远多于中文（6800 万 vs. 2000 万），其他语言更少。这导致多语言模型训练中的语言不平衡问题。

应对方案：

  • 以英文为主构建数据，中文作为补充
  • 对中文数据进行过采样，保持语言平衡
  • 长期来看，可以利用维基百科跨语言链接，对同一实体的多语言纠错记录进行对齐

4.4 法律合规

维基百科采用 CC BY-SA 4.0 协议，允许用于训练，但要求：

  1. 注明来源（Wikipedia contributors + 页面 URL）
  2. 衍生作品同样采用 CC BY-SA 协议（对模型权重的适用性仍有争议，但数据集本身需合规）

应对方案：在数据集的每条记录中保留 article_title、revision_id、language 等元数据，支持溯源验证。

5. 客观评价

5.1 整体价值判断

维基百科版本历史数据的价值是真实且可落地的，但不应过度夸大。它的核心价值在于提供了其他来源无法替代的真实错误分布样本，这对幻觉检测和纠错训练有独特意义。对于写作改写、知识抽取等方向，它是一个不错的补充，但并非唯一选择。

5.2 优先级建议

第一优先级：幻觉检测数据（维度 2）

  • 理由：市场上真正缺乏的是大规模、高质量、真实分布的幻觉样本；技术难度可控；有明确的训练用途
  • 预期收益：可构建目前规模最大的开放幻觉检测数据集，对模型可靠性提升有实质帮助

第二优先级：知识结构化提取（维度 4）

  • 理由：infobox edit 提供了高质量的 IE ground truth，且该类 edit 占比高、噪音低
  • 预期收益：可显著提升模型的结构化信息抽取能力，对 RAG 系统有直接价值

5.3 技术门槛与团队要求

能力要求说明
数据工程Wikipedia dump 处理需要较强的分布式计算能力（全量 dump 约 80-100GB 压缩）
NLP 基础diff 对齐、段落级匹配需要基础 NLP 工程能力
LLM 调用Step 5 的细粒度分类需要大量 LLM API 调用（估算约 100 万次，成本可控）
人工标注质量验证需要小规模专业标注（约 1600 条，每种错误类型 200 条）

最小可行团队：2 名数据工程师 + 1 名 NLP 研究员，工期 2-3 个月可完成英文版本的首批高质量数据。

5.4 预期收益的合理范围

  • 乐观估计：可构建 80-100 万条高质量幻觉检测样本，在 TruthfulQA、HaluEval 等基准上可带来 3-8% 的性能提升
  • 保守估计：去噪后有效样本约 50 万条，对下游任务带来 1-3% 的可测量提升
  • 不确定因素：维基百科错误分布是否与模型实际幻觉分布高度重合，需要实验验证

结语

维基百科的版本历史是人类集体写作行为的化石记录。每一次纠错、每一次中立化改写、每一次结构化补充，都是一个带有人类判断标注的训练信号。我们不缺数据，我们缺的是以这种视角去解读已有数据的方法论。

本提案建议以幻觉检测数据为突破口，构建第一批高质量、大规模的真实错误样本集，验证训练效果后再逐步扩展到其他六个维度。这不是一个「大而全」的研究项目，而是一个可以分阶段落地、每步都有实际收益的数据工程计划。

本文为工作草稿（[WIP]），部分规模估算数据基于公开信息推算，实际执行前需通过小规模预实验验证关键假设。