研究提案

[WIP] [v2] 维基百科数据组织的三个维度：时序演化、多语言对齐与知识图谱

同样的维基百科原材料，不同的组织方式产出的训练数据质量差异显著。本文提出从时序演化、多语言对齐、知识图谱三个维度系统性地重组维基百科，将其内嵌的组织结构转化为显式训练信号。

训练数据 维基百科 数据组织 多语言 知识图谱 LLM

[WIP] 维基百科数据组织的三个维度：时序演化、多语言对齐与知识图谱

1. 数据组织形式的重要性——被忽视的训练信号

LLM 训练领域有一个共识正在形成：数据质量比数据数量更重要。但”质量”这个词往往被狭义地理解为”内容准确、语言流畅、去除噪声”。还有一个维度几乎被完全忽视——组织形式。

Phi 系列模型给出了最直接的证据。Phi-1（2023）用 6B token 的精心筛选教科书数据，在代码任务上超过了用数百亿 token 训练的同量级模型。Phi-1.5 和 Phi-3 延续了这一发现：当同等数量的 token 以”教科书式”结构组织时——概念先定义，再举例，再推导，再练习——模型的学习效率显著高于同内容的”信息堆砌”形式。这说明组织逻辑本身携带学习信号，而不只是内容。

Apple 的 SARI（Systematic Alignment via Reasoning Injection，2024）进一步揭示：训练数据的内部逻辑递进关系，直接影响模型在推理任务上的泛化能力。当训练样本呈现”问题 → 分析 → 结论”的显式推理链时，模型不只是记住了答案，而是习得了推理路径的结构习惯。

2026 年 3 月，Stanford 和 UW 的 Megadocs 研究（arXiv:2603.18534）给出了迄今最具体的定量验证：将同一文档的多个合成改写版本首尾拼接成一个”巨型文档”，而非作为独立样本分散存放，数据效率提升 1.80 倍（vs 简单改写的 1.48 倍），且在长上下文任务上有额外收益。这个结果的含义是：数据的组织方式和数据的内容本身一样重要——两份 token 数完全相同的数据集，组织结构不同，训练效果可以相差近两倍。

Megadocs 的发现与维基百科版本历史的组织逻辑高度契合。一篇文章从 stub 到成熟词条的多个版本，本质上就是”同源文档的多个版本”——但维基百科版本序列有一个合成改写没有的优势：每个版本之间存在真实的语义递进关系（新版本是对旧版本的精化和扩充），而不是表面改写。这意味着维基百科版本序列可以构建出比 Megadocs 更有结构深度的”知识成长文档”。

现状令人遗憾：几乎所有 LLM 训练都把维基百科当作一堆当前快照来用。 WikiText-103、C4、The Pile 里的维基百科成分，均取自某一时刻的静态导出，完全抛弃了以下三类结构信息：

  1. 版本历史：每篇文章从 stub 到成熟词条的演化轨迹
  2. 多语言视角：同一概念在不同语言社区中的内容侧重差异
  3. 内部链接图谱：词条之间隐性编码的概念依赖关系

维基百科不只是知识语料。它是一个由数百万人协作构建的、具有三维结构的动态知识系统。当前的使用方式，相当于把一部有注释、有索引、有修订历史的百科全书，只取了某天的正文，其余全部丢掉。

🔄 [v2 改进 — Megadocs 结论的实验条件边界]

原文直接援引 Megadocs 的 1.80x 效率提升作为本方案的支撑证据，但需要说明该结论的适用边界，避免过度外推：

Megadocs 实验的具体设置（依据 arXiv:2603.18534）：

  • 模型规模：7B 参数量（中等规模）
  • 任务类型：知识密集型问答（如 NaturalQuestions、TriviaQA）
  • 数据量：特定规模下的实验（并非在所有数据规模下均有 1.80x 收益）
  • 数据构造：合成改写版本拼接（LLM 对同一文档生成多个改写，语义相近但表述不同）

本方案与 Megadocs 的关键差异：

  • Megadocs 使用的是合成改写（同一知识的多种表达），语义等价，信息量不增加
  • 本方案使用的是真实演化版本（知识从 stub 到成熟的递进），语义递进，信息量随版本增加
  • 两者的「语义递进深度」不同：合成改写是横向变体，版本演化是纵向深化

正确的使用方式：不应直接声称「本方案可以复现 1.80x 收益」，而应表述为：「Megadocs 的结果提示同源文档组织形式有效，本方案的版本序列在理论上具有更丰富的语义递进信号，但具体收益需通过自有实验验证。」

建议验证实验（成本：约 1 GPU-week）：

  • 选取 5000 个维基百科词条，提取其演化版本序列
  • 对照组A：版本序列按时序拼接（本方案）
  • 对照组B：同等 token 量但随机打散（无组织）
  • 对照组C：Megadocs 方式的合成改写拼接
  • 在同一基座模型上做 continual pre-training，在知识密集型任务上比较三组效果
  • 用自己的数据说话，得到的结论更具说服力，也更能揭示版本序列的独特价值

2. 三个组织维度

维度 A：时序演化组织（Knowledge Growth Trajectory）

维基百科的每个词条都有完整的编辑历史。一篇关于”Transformer 架构”的词条，从 2017 年 Vaswani 等人发表论文后的最初几行 stub，到 2024 年涵盖变体、应用、局限性的成熟词条，经历了数百次编辑。这个演化轨迹，本身就是人类对”一个概念需要哪些维度才算完整”的隐性标注。

以「Transformer（机器学习）」词条为例，关键快照大致如下：

{
  "knowledge_growth_trajectory": {
    "concept_id": "Q63705695",
    "concept_name": "Transformer (machine learning)",
    "maturity_score": 0.92,
    "snapshots": [
      {
        "version": "v1",
        "timestamp": "2017-12-10",
        "edit_type": "creation",
        "content_summary": "Transformer 是一种基于自注意力机制的神经网络架构，由 Vaswani et al. (2017) 提出，最初用于机器翻译任务。",
        "word_count": 180,
        "what_was_added": "基本定义、论文引用、自注意力机制简介",
        "missing_dimensions": ["变体介绍", "应用场景", "与 RNN 的对比", "局限性"]
      },
      {
        "version": "v2",
        "timestamp": "2018-10-15",
        "edit_type": "expansion",
        "content_summary": "新增 BERT、GPT 等基于 Transformer 的预训练模型介绍，补充注意力机制的数学形式化描述。",
        "word_count": 650,
        "what_was_added": "预训练模型段落、数学公式、与 LSTM 的性能对比",
        "missing_dimensions": ["工业应用", "局限性与批评", "多模态扩展"]
      },
      {
        "version": "v3",
        "timestamp": "2020-06-20",
        "edit_type": "restructure",
        "content_summary": "词条结构重组，新增变体章节（Vision Transformer、Sparse Transformer），补充应用场景（NLP、CV、生物信息学）。",
        "word_count": 1800,
        "what_was_added": "架构变体、跨模态应用、计算复杂度讨论",
        "missing_dimensions": ["社会影响", "能耗与可持续性"]
      },
      {
        "version": "v4",
        "timestamp": "2023-09-01",
        "edit_type": "maturation",
        "content_summary": "成熟词条，涵盖架构定义、数学形式、主要变体、应用领域、局限性、社会影响、参考文献 60+ 条。",
        "word_count": 4200,
        "what_was_added": "大规模语言模型章节、能耗讨论、批评与局限性",
        "missing_dimensions": []
      }
    ]
  }
}

这种组织形式的独特训练价值：

  • 展示知识的逐步精化过程：不是只喂给模型最终答案，而是让它看到”知识是怎么被建构起来的”。这训练的是增量推理能力，而非记忆能力。
  • 训练模型识别知识缺口：每个早期版本的 missing_dimensions 字段，是人类编辑者隐性判断的”这篇文章还不完整”的标注——比任何人工标注都自然。
  • 揭示知识完整性的隐性标准：什么信息被优先补充、什么信息被最后补充，反映了社区对”重要性”的集体判断。

与现有工作的对比： WikiEvolution 和 Write&Improve 等项目也使用了维基百科版本历史，但定位于写作辅助任务（帮助人类改进写作）。它们没有将版本演化数据系统性地转化为通用 LLM 训练数据，也没有结合多语言和图谱两个维度。

🔄 [v2 改进 — 去噪：知识成熟度过滤]

版本历史中大量 edit 是非语义变更（格式调整、链接修复、模板更新、标点修正等），真正体现「知识深化」的版本对是少数。若不加过滤直接拼接所有版本，训练信号会被大量噪声稀释。

与维基百科时序提案的去噪方法对齐（避免重复设计，直接复用幻觉检测方案中已设计的去噪 pipeline）：

  • 用 ORES damaging score 过滤破坏性编辑
  • 过滤 bot 编辑（格式化、链接更新类）
  • 按 diff 字符数过滤纯格式修改（阈值参考：语义变更 > 50 字符）

补充：「知识成熟度」度量方法

用以下三个代理指标衡量词条的「知识成熟度」，优先选择有明显从低到高成长轨迹的词条：

指标含义低成熟度阈值高成熟度阈值
版本数量编辑次数越多，词条越经过打磨< 10 次编辑> 100 次编辑
独立编辑者数量多人参与说明信息经过交叉验证1-2 人> 10 人
内链数量内部链接越多，在知识图谱中越重要< 5 个内链> 30 个内链

筛选策略：优先选择「成熟度曲线斜率」大的词条——即在观察窗口内，上述三个指标均呈现明显上升趋势的词条。这类词条提供了「从 stub 到成熟」的最清晰知识建构轨迹。

预估：英文维基百科 680 万词条中，约 50-80 万词条有清晰的知识成熟度上升轨迹（占 7-12%），这是本方案时序维度的有效候选池。

维度 B：多语言视角对齐（Cross-Lingual Knowledge Alignment）

多语言维基百科不是同一内容的翻译集合。不同语言社区的编辑者，基于各自的文化背景和知识结构，对同一概念的理解和侧重点存在系统性差异。这不是翻译问题，而是知识视角问题。

三种差异类型：

① 内容侧重差异：以”人工智能监管”为例，英文 Wikipedia 侧重技术风险与算法偏见，中文侧重政策框架与产业应用，欧洲语言版本（德文、法文）侧重隐私权与 GDPR 合规。这反映了不同文化语境下对同一技术的认知框架差异。

② 详细程度差异：某些知识是跨文化共识（如”量子力学”在各主要语言中均有详细描述），某些知识高度文化特有（如日文维基百科对”物哀”的描述远比英文详细，中文对”科举制度”的描述是英文的数倍）。“缺失模式”本身是有价值的信号——某语言版本的缺失，意味着该文化对这个概念存在知识盲区。

③ 概念边界差异：这是最深层的差异。“数据治理”（中文语境）与”data governance”（英文语境）的概念边界并不完全重合：中文版本更多涵盖数据主权、国家治理视角；英文版本更侧重企业内部数据管理流程。这不是翻译错误，而是概念在不同文化环境中的真实分歧。

{
  "cross_lingual_alignment": {
    "concept_id": "Q4116214",
    "concept_name": "Artificial intelligence regulation",
    "alignment_quality": 0.71,
    "languages": {
      "en": {
        "content_focus": ["algorithmic bias", "technical risk assessment", "autonomous weapons", "explainability"],
        "coverage_score": 0.95,
        "unique_aspects": ["EU AI Act technical analysis", "IEEE standards discussion"],
        "missing_from_other_langs": ["AI liability framework", "red-teaming methodologies"]
      },
      "zh": {
        "content_focus": ["产业政策", "数据安全法", "生成式AI管理", "算法推荐规范"],
        "coverage_score": 0.78,
        "unique_aspects": ["中国AI治理法规体系", "平台算法备案制度"],
        "missing_from_other_langs": ["科技伦理委员会机制", "AI国家标准体系"]
      },
      "de": {
        "content_focus": ["DSGVO-Konformität", "Datenschutz", "KI-Haftung", "Vertrauenswürdige KI"],
        "coverage_score": 0.82,
        "unique_aspects": ["Bundesamt für Sicherheit in der Informationstechnik Richtlinien"],
        "missing_from_other_langs": ["Whistleblower-Schutz im KI-Bereich"]
      },
      "ja": {
        "content_focus": ["産業応用", "倫理ガイドライン", "経済産業省方針"],
        "coverage_score": 0.65,
        "unique_aspects": ["Society 5.0 との関連", "人間中心のAI社会原則"],
        "missing_from_other_langs": ["AI標準化ロードマップ"]
      }
    }
  }
}

训练用途：

  • 跨语言知识迁移：给模型一个中文 stub + 对应英文详细版本，训练它补全中文缺失的信息——但需要保持中文视角，而非直接翻译。
  • 文化感知型知识表达：训练模型理解”同一概念在不同语境下应该强调什么”，这是多语言模型目前普遍薄弱的能力。

与现有多语言数据集的对比： XQuAD、MKQA 是跨语言问答对，OPUS 是平行翻译语料。它们的共同点是：基于翻译等价性构建，假设不同语言表达的是同一内容。本方案的核心差异在于：承认并利用跨语言的内容差异，将”差异”从噪声变为信号。

维度 C：知识图谱关系组织（Concept Network Organization）

维基百科的内部链接，是编辑者在写作过程中自然形成的概念依赖标注。当一篇关于”注意力机制”的文章链接到”矩阵乘法”、“softmax 函数”、“编码器-解码器架构”，这隐含着一个知识图谱：理解 A 之前，你应该先理解 B、C、D。

这个图谱的关键属性：

  • 入度高的节点（被很多文章链接到）是基础概念，是”前置知识”
  • 出度高的节点（链接到很多其他文章）是综合应用概念，是”衍生知识”
  • 链接方向编码了”理解依赖”关系，而非简单的相关性
{
  "concept_network": {
    "concept_id": "Q4984518",
    "concept_name": "Attention mechanism (machine learning)",
    "centrality_score": 0.87,
    "prerequisites": [
      {
        "concept_id": "Q44337",
        "name": "Matrix multiplication",
        "dependency_type": "mathematical_foundation",
        "importance": 0.95
      },
      {
        "concept_id": "Q179899",
        "name": "Softmax function",
        "dependency_type": "computational_component",
        "importance": 0.92
      },
      {
        "concept_id": "Q1069141",
        "name": "Neural network",
        "dependency_type": "conceptual_parent",
        "importance": 0.88
      },
      {
        "concept_id": "Q4844339",
        "name": "Encoder-decoder architecture",
        "dependency_type": "architectural_context",
        "importance": 0.80
      }
    ],
    "derivatives": [
      {
        "concept_id": "Q63705695",
        "name": "Transformer",
        "relationship": "built_upon_this",
        "importance": 0.98
      },
      {
        "concept_id": "Q106736366",
        "name": "BERT",
        "relationship": "application",
        "importance": 0.91
      },
      {
        "concept_id": "Q108128469",
        "name": "Vision Transformer",
        "relationship": "cross_domain_extension",
        "importance": 0.85
      }
    ],
    "suggested_learning_order": [
      "Neural network",
      "Matrix multiplication",
      "Softmax function",
      "Encoder-decoder architecture",
      "Attention mechanism",
      "Transformer",
      "BERT / GPT",
      "Vision Transformer"
    ]
  }
}

训练用途： 用这个结构组织训练数据，让模型看到”在解释注意力机制之前，先解释了矩阵乘法和 softmax”的范例。久而久之，模型会习得先解释前提、再展开核心、最后引申应用的知识表达习惯——这正是教科书式写作的本质。

3. 三维组合：知识成长图谱（Knowledge Growth Graph）

三个维度单独使用都有价值，但真正的潜力在于它们的组合。以 Wikidata QID 为主键，可以把同一个概念节点的三个维度统一对齐：

概念节点（Wikidata QID）
    ├── 时间轴：版本快照序列（knowledge_growth_trajectory）
    ├── 语言轴：多语言视角矩阵（cross_lingual_alignment）
    └── 关系轴：前提与衍生网络（concept_network）

这个三维结构可以直接产出五类高质量训练任务，且每个任务都有内建的 ground truth：

任务一：知识补全（Stub Completion）

  • 输入：某概念的早期 stub 版本 + 其前置概念的成熟版本
  • 任务：补全 stub 中缺失的维度
  • Ground truth：该概念的成熟版本（版本历史提供）
  • 价值：训练模型识别知识缺口并系统性地填补

任务二：文化视角生成（Cross-Cultural Perspective Generation）

  • 输入：某概念的英文成熟版本
  • 任务：生成”中文视角”的补充内容（哪些信息是中文语境下更重要的）
  • Ground truth：该概念的中文维基百科版本
  • 价值：训练模型的文化感知能力，而非简单翻译能力

任务三：前提知识识别（Prerequisite Identification）

  • 输入：某概念的完整描述
  • 任务：列出理解该概念所需的前置知识
  • Ground truth：知识图谱中的 prerequisites 节点
  • 价值：训练模型构建知识依赖意识

任务四：知识演化溯源（Knowledge Attribution）

  • 输入：某概念的成熟版本全文
  • 任务：判断哪些内容是最初就有的核心定义，哪些是后来补充的细节
  • Ground truth：版本历史（第一版 vs 成熟版的差异）
  • 价值：训练模型区分”核心知识”与”补充知识”的能力

任务五：读者适配判断（Audience Adaptation）

  • 输入：同一概念的两个语言版本
  • 任务：判断哪个版本更适合特定背景的读者（如：政策制定者 vs 工程师）
  • Ground truth：两个版本各自语言社区的编辑关注点（由内容侧重字段标注）
  • 价值：训练模型的受众感知与内容适配能力

4. 技术实现

4.1 数据获取

数据类型来源格式许可
词条当前内容Wikimedia dumps（每月更新）XML → wikitextCC BY-SA 4.0
版本历史MediaWiki revision APIJSONCC BY-SA 4.0
多语言对齐键Wikidata（Q-ID）JSON-LDCC0
内部链接Dump 解析（wikilinks）可构建为图CC BY-SA 4.0

4.2 构建流水线

1. 从 Wikidata 获取概念列表和跨语言链接
   └── 输出：{QID → {en_title, zh_title, ja_title, ...}} 映射表

2. 用 revision API 拉取各语言版本历史
   └── 按 QID 为主键，拉取英、中、日、德、法等主要语言

3. 选取关键版本快照
   └── 基于内容变化量（diff size）而非时间间隔
   └── 保留变化量 > 15% 的版本，过滤 minor edits

4. 提取知识图谱
   └── 解析 wikitext 内部链接（[[概念名]]）
   └── 构建有向图，计算入度/出度/PageRank

5. 对齐多语言版本
   └── 以 Wikidata QID 为主键进行跨语言匹配
   └── 提取各语言的内容侧重（基于章节标题和关键词分布）

6. 质量过滤
   └── 去除机器翻译生成的版本（通过编辑摘要识别）
   └── 去除词条长度 < 500 字的 stub（用于训练输入，非过滤）
   └── 去除 spam 和 vandalism（利用 Wikipedia 现有的 revision quality API）

4.3 规模估算

维度估算逻辑估算规模
时序数据英文 wiki 约 680 万词条 × 平均 ~30 个有效版本快照 × 过滤率 ~40%约 8,000 万版本对
多语言对齐Wikidata 1.1 亿条目中约 2,000 万有跨语言链接 × 平均 5 语言约 1 亿跨语言对
知识图谱英文 wiki 内部链接约 7,000 万条，构成约 600 万节点的有向图约 7,000 万关系三元组

🔄 [v2 改进 — 规模估算：第一性原理验证]

上表各行的估算逻辑中，「过滤率 ~40%」等关键参数均基于假设而非实测，链式乘法可能导致规模误差 2-5×。

建议以「知识成熟度代理指标」作为第一性原理推导锚点：

  1. 英文维基百科约 680 万词条（已知数据）
  2. 其中「特色条目」（Featured Articles）+ 「优良条目」（Good Articles）约 10 万条（Wikipedia 公开统计，高质量标准）
  3. 有 > 100 次编辑的词条约 50 万条（版本历史丰富）
  4. 有 > 10 位独立编辑者的词条约 80 万条
  5. 交集（满足以上至少 2 条）：约 60-80 万词条为高知识成熟度候选

这 60-80 万词条是时序维度的核心数据池（可验证），每个词条平均提取 5-10 个关键快照版本对，得到约 300-800 万个高质量时序训练样本——这比原估算的「8000 万版本对」小一个数量级，但质量更有保证。

建议修正：将规模目标从「8000 万原始版本对」调整为「300-800 万高质量版本对」，后者是可信的量级，更适合作为 Phase 1 的执行目标。

5. 与现有工作的对比

方法使用版本历史多语言视角知识图谱通用训练数据Wikidata 对齐
WikiText / Wikipedia Snapshot❌❌❌✅❌
Phi-3 训练数据❌（合成）❌❌✅❌
WikiEvolution✅❌❌❌（写作辅助）❌
CrossWOZ / MultiWOZ❌✅（翻译对）❌❌（对话任务）❌
XQuAD / MKQA❌✅（翻译对）❌部分❌
Megadocs（arXiv:2603.18534）合成改写拼接❌❌✅（1.80x 效率）❌
本方案✅（真实演化）✅（视角差异）✅✅✅

与 Megadocs 的关系：Megadocs 证明了「同源文档拼接」的数据效率提升（1.80×），但使用的是合成改写版本。维基百科版本历史提供了同类型的组织结构，但来源是真实的语义递进演化——每个版本是对前一版本的实质性精化，而非表面改写。理论上可以获得 Megadocs 同等甚至更高的效率收益，同时获得真实演化带来的额外语义信号。

核心差异化优势：

  1. 三维组合：目前没有工作同时利用这三个维度
  2. 视角差异而非翻译等价：多语言部分捕捉的是内容差异，而非翻译对
  3. 内建 ground truth：版本历史和多语言版本互相提供验证信号，无需额外人工标注
  4. Wikidata 为主键：提供系统性的跨语言对齐能力，而非启发式匹配

6. 客观评价

真正有价值的地方

数据组织结构携带的学习信号，是合成数据根本无法替代的。Phi-3 可以让 GPT-4 合成”教科书风格”的文本，但它无法合成：

  • 真实的知识演化轨迹（人类社区如何协作精化一个概念）
  • 真实的文化视角差异（不同语言社区对同一概念的真实理解分歧）
  • 真实的知识依赖关系（数百万编辑者集体形成的概念关联判断）

这三类信号都是现实世界认知过程的产物，合成数据只能模拟，无法真实复现。

主要挑战

工程复杂度高：三维数据对齐涉及大量异构数据源（dump 文件、revision API、Wikidata SPARQL），工程量不小。仅时序数据的处理，就需要对数百亿字节的 XML dump 进行增量解析和差异计算。

中文维基百科质量和规模的差距：中文维基百科约 140 万词条，仅为英文的 1/5，且词条平均质量（深度、版本数量）明显偏低。多语言对齐的实际效果，在中英对比中可能不如英日或英德对比。

Wikidata 对齐误差：Wikidata 的跨语言链接并非完美，存在概念粒度不一致（一个中文词条对应两个英文词条，或反之）、历史错误链接等问题，需要额外的质量过滤步骤。

版本噪声：维基百科编辑历史包含大量 vandalism、bot 编辑、格式调整等无意义变更，需要仔细过滤，否则会引入噪声训练信号。

优先落地建议

Phase 1（3-6个月）：英文 + 时序维度

  • 只做英文维基百科的版本历史组织
  • 选取 5 万个高质量词条，提取其演化轨迹
  • 构建任务一（Stub Completion）的训练集并验证效果
  • 工程风险最低，信号最明确

Phase 2（6-12个月）：加入图谱维度

  • 在 Phase 1 基础上加入知识图谱关系
  • 构建任务三（Prerequisite Identification）
  • 验证图谱辅助是否提升知识推理质量

Phase 3（12-18个月）：多语言扩展

  • 加入英、中、日、德、法五个语言版本
  • 构建任务二（Cross-Cultural Perspective Generation）
  • 这是工程难度最高、但潜在收益也最大的阶段

适合的团队

本方案工程门槛高于研究门槛。它不需要新的算法，需要的是：扎实的数据工程能力（处理 TB 级 dump）、对维基百科数据结构的深入了解、以及能够设计严格消融实验来验证每个维度贡献的研究执行力。

最适合以下团队：

  • 有 LLM 预训练或后训练数据经验的工业实验室
  • 以”数据中心 AI”（data-centric AI）为方向的学术组
  • 已有多语言模型训练经验、正在寻找差异化数据优势的团队

🔄 [v2 改进 — 三维度联合训练的干扰分析与训练顺序建议]

原方案隐含假设三个维度可以直接联合训练，但没有分析联合训练时可能产生的信号冲突：

  • 时序维度的信号：同一词条的不同版本，模型需要学习「版本越新信息越完整」
  • 多语言维度的信号：不同语言版本的同一词条，模型需要学习「不同语言视角是并列的，无好坏之分」
  • 知识图谱维度的信号：模型需要学习「某些概念应该先于其他概念出现」

这三类信号对「信息先后顺序」的处理方式不同，若混合训练，模型可能混淆「时序递进」（时序维度）与「并列视角」（多语言维度）。

建议采用渐进式训练顺序（与原落地建议的 Phase 拆分方向一致，但增加每阶段的评估要求）：

Phase训练内容评估指标进入下一 Phase 的条件
Phase 1仅时序维度Stub Completion 任务准确率、知识缺口识别 F1基线提升 ≥ 2%，无退化
Phase 2时序 + 知识图谱+ 前提识别准确率；时序信号是否受干扰图谱维度带来 ≥ 1% 增益，时序任务无退化
Phase 3三维联合+ 跨语言视角生成质量；全任务综合评分多语言维度带来 ≥ 1% 增益，前两维度无退化

关键点：每个 Phase 之间必须做消融评估，确认新增维度带来增益而非干扰。若 Phase 2 发现图谱维度导致时序任务退化，应先排查训练数据混合比例，而非直接进入 Phase 3。

🔄 [v2 改进 — 评估闭环：如何验证这批数据对下游模型有效]

原方案的评估体系不完整，主要描述了「如何构建数据」，但没有说明「如何验证数据有效」。

建议的四层验证体系：

Layer 1：数据内部质量（构建阶段）

  • 版本快照的语义变化量分布：有效快照的内容变化率应在 15-60% 之间（过低是格式修改，过高是大规模重写）
  • 多语言对齐质量：随机抽样 500 对，人工核查 Wikidata QID 对齐正确率（目标 ≥ 95%）
  • 知识图谱正确率：随机抽样 200 条依赖关系，人工验证前提关系是否合理（目标 ≥ 90%）

Layer 2：任务内部验证（每个下游任务）

  • 对每个五类任务（Stub Completion 等），在 held-out 集上验证 ground truth 质量
  • Stub Completion：成熟版本作为 ground truth，验证其信息确实是对 stub 的补全，而非不相关内容

Layer 3：模型训练效果（核心验证）

  • 选择 Phase 1（时序维度）作为最小验证集（工程复杂度最低）
  • 对比实验：同一基座模型，A 组不含本数据，B 组含本数据的时序训练样本
  • 在知识密集型基准（NaturalQuestions、TriviaQA、MMLU）上比较 A vs B
  • 预期改善：NQ/TriviaQA 上 1-3%（保守估计），若无改善说明信号设计有问题

Layer 4：组织结构的增量贡献（消融实验）

  • 对比 C 组：同等 token 量，但将版本序列随机打散（破坏时序组织结构）
  • B 组（有序）vs C 组（打散）的差距，才是「时序组织形式」本身的贡献
  • 这是区分「维基百科内容本身有价值」vs「时序组织方式有额外价值」的关键实验

后记

这个方向的核心洞察很简单：维基百科是一个三维结构，但我们一直把它当一维来用。把时间轴、语言轴、关系轴还给训练数据，不需要任何新的标注工作，只需要重新组织已经存在的信息。

这也是它的风险所在：如果组织形式的学习信号没有那么显著，这个方向的工程投入就变成了一笔昂贵的赌注。所以 Phase 1 的快速验证至关重要。先用最简单的时序维度跑一个小规模实验，看信号是否真实存在，再决定是否值得投入全套三维管道。

[WIP] 本文为早期研究提案，欢迎讨论和批评。技术细节和规模估算会随实验进展持续更新。

原始版本：wikipedia-data-organization-three-dimensions