长文数据构建全景：从纯文本到原生多模态

覆盖范围：纯文本长上下文 · 多模态长上下文 · 原生多模态模型
核心论文：17 篇关键工作
时间跨度：2024.01 — 2026.03
Tuntang 研究 | 2026.04.01

---

目录

第一部分：问题框架

1. 为什么长文数据是瓶颈
2. 三条技术路线总览

第二部分：纯文本长上下文数据构建 3. 天然长文档：来源与选择 4. 合成方法一：短文拼接与引用增强 5. 合成方法二：上下文合成 6. 合成方法三：依赖感知合成 7. 对齐阶段：长指令数据构建 8. 长输出数据：AgentWrite 范式

第三部分：多模态长上下文数据构建 9. 视频长上下文：LongVILA 路线 10. 视觉文档长上下文：344K 训练实践 11. 位置编码策略：V2PE

第四部分：原生多模态模型的长文数据 12. 原生多模态模型架构概览 13. 数据构建的独特挑战 14. 展望：原生多模态长文数据应该怎么构建

第五部分：总结 15. 方法论对比与选型建议

---

一、为什么长文数据是瓶颈

长上下文能力已经成为大模型的核心竞争维度。从 Gemini 的 1M 上下文到 GPT-5.4 的百万级窗口，模型架构层面的上下文长度已经不再是主要瓶颈。真正的瓶颈在数据侧。

几个关键事实：

数据特征	现状
64K+ token 的天然文档	占预训练语料不到 0.1%
128K+ token 的天然文档	更加稀缺，主要来自代码仓库和书籍
长上下文指令数据	几乎没有天然来源，必须合成
多模态长上下文数据	长视频标注成本极高，文档 QA 依赖合成

这个稀缺性带来了一个级联问题：

天然长文档不足 → 预训练阶段长距离依赖学习不充分
    → 对齐阶段缺乏长指令数据 → 模型在长上下文场景下表现差
        → 多模态更严重：视觉 token 占比高，有效上下文更短

因此，长文数据构建不是一个数据工程问题，而是影响模型能力上限的核心技术问题。

---

二、三条技术路线总览

我将当前的长文数据构建方法梳理为三条递进的技术路线：

路线	模态	核心挑战	代表工作
纯文本长上下文	文本	天然长文档稀缺，简单拼接质量差	ProLong, LongPack, Context Synthesis, LongAlign
多模态长上下文	文本+图像/视频	视觉 token 占比高，位置编码不适配	LongVILA, V2PE, Long-Context VDM
原生多模态长上下文	统一 token 空间	交错数据稀缺，跨模态长距离依赖构建困难	Chameleon, Emu3/3.5, Transfusion

三条路线的关键区别在于数据的模态组织方式：

• 纯文本：所有 token 同质，长距离依赖可通过引用关系建模
• 多模态（组合式）：视觉 token 通过 encoder 映射到文本空间，两种 token 的位置编码需要分别处理
• 原生多模态：所有模态在统一 token 空间中交错排列，数据必须保持天然的交错结构

下面逐一展开。

---

三、天然长文档：来源与选择

在进入合成方法之前，先看天然长文档的来源。ProLong (Gao et al., 2025, ACL) 是这个方向上最系统的实验研究。

3.1 ProLong 的核心发现

ProLong 在 Llama-3 基础上做了大规模对照实验，回答了一个基本问题：什么样的天然长数据最有效？

数据来源排序（按对长上下文性能的贡献）：

来源	有效性	特点
代码仓库	⭐⭐⭐⭐⭐	天然包含文件间引用、跨文件依赖
书籍	⭐⭐⭐⭐	章节间连贯叙事，长程逻辑链
学术论文	⭐⭐⭐	结构化但长度有限
网页文档	⭐⭐	质量参差，长距离引用密度低

关键洞见：

代码仓库和书籍是优秀的长数据来源，但必须与高质量短上下文数据结合。纯用长数据反而有害。

这个发现非常重要——它意味着长文数据构建不是”越长越好”，而是需要精心设计的长短混合策略。

3.2 训练长度选择

ProLong 的另一个关键发现：训练时的序列长度应该超过目标评估长度。

训练长度 vs 评估长度	效果
训练 = 评估	基线水平
训练 > 评估	显著提升
训练 << 评估	性能急剧下降

这对数据构建的启示是：如果目标支持 128K 上下文，训练数据中需要包含 256K 甚至更长的样本。

3.3 UltraLong 的渐进式扩展

UltraLong-8B (Xu et al., 2025) 将这个思路推到极致——从 128K 一路扩展到 4M：

• 基于已对齐的 Llama3.1-Instruct 做持续预训练
• 渐进式扩展：128K → 1M → 2M → 4M
• 关键：每个阶段都需要匹配长度的训练数据
• 配合指令调优保持短上下文性能不退化

---

四、合成方法一：短文拼接与引用增强

天然长文档不够用，最直接的思路是把短文档拼起来。但简单拼接的效果很差——拼接出的”长文档”缺少跨片段的语义关联。

4.1 LongPack：基于超链接的引用感知拼接

LongPack (Zhuang et al., ICLR 2025) 提出了一个关键观察：长距离引用的密度是长文档质量的核心指标。

方法：

网页 A ──超链接──→ 网页 B ──超链接──→ 网页 C
        ↓
    打包为一个长文档 [A, B, C]

利用超链接作为天然的引用关系信号，将具有引用关系的网页打包成长文档。

核心发现：

• 长距离引用密度越高，训练效果越好
• 天然长文档的引用密度高于拼接文档——这是传统上采样方法次优的根本原因
• 仅使用 0.5% 的根文档就能生成与整个预训练集等量的长文档
• 相比此前方法，质量提升 32.7%

4.2 为什么简单拼接不行

直觉上，把两篇无关文档拼在一起，模型学到的只是”这里有两篇文档”，而不是”如何在长文档中追踪远距离信息”。LongPack 的引用增强本质上是在合成数据中注入了结构化的长距离依赖。

---

五、合成方法二：上下文合成

Context Synthesis (Zhu et al., 2025) 提出了一种更精巧的思路：不是合成完整的长文档，而是为高质量的短问答对合成背景上下文。

5.1 方法对比

方法	合成对象	质量瓶颈
Instruction Synthesis	合成指令 + 上下文 + 答案	长上下文下指令质量难保证
Context Synthesis	仅合成背景上下文	保留高质量问答对，质量有保障

5.2 流程

高质量短问答对 → LLM 生成扩展背景上下文 → 组合为长上下文训练样本

核心思想：指令和答案的质量最重要，上下文只是”容器”。与其合成一个可能有问题的长指令，不如保留好的短指令、合成一个好的长背景。

5.3 效果

• 在 LongBench 上优于 Instruction Synthesis
• 接近人工标注的长上下文指令数据
• 短上下文训练的模型可以泛化到长上下文——这意味着数据效率远高于预期

---

六、合成方法三：依赖感知合成

Re3Syn (ACL 2025) 指出了此前拼接方法的一个根本缺陷：忽略了长文档中片段之间的依赖关系。

天然的长文档中，后文依赖前文的定义、引用、推理链。简单拼接的文档没有这种依赖。

Re3Syn 提出依赖感知的合成框架：

• 分析短文档之间的潜在依赖关系（共指、因果、时序）
• 基于依赖关系图进行有序拼接
• 在拼接处生成过渡文本，建立显式的跨文档引用

这个方向的核心洞见是：长上下文能力的本质是长距离依赖建模，数据必须包含真实的长距离依赖。

---

七、对齐阶段：长指令数据构建

预训练解决了”能读长文”的问题，对齐阶段需要解决”能在长文上做任务”的问题。

7.1 LongAlign

LongAlign (Bai et al., EMNLP 2024) 是首个系统化的长上下文对齐方案：

数据：LongAlign-10k，10,000 条长指令数据，长度 8K—64K

构建方法：

• 使用 Self-Instruct 从长文档中生成问答
• Claude 生成多样化的指令类型：总结、分析、QA、推理
• 质量过滤：长度分布均匀，指令类型多样

训练策略：

• Packing：多条短样本打包到一个批次
• Sorted Batching：按长度排序后分批，减少 padding 浪费
• Loss Weighting：根据序列中各样本的长度加权

7.2 一个反直觉的发现

ProLong 和 Context Synthesis 都发现了一个反直觉的现象：SFT 阶段不一定需要长指令数据。

短指令数据训练的模型在长上下文任务上也能表现不错。这意味着长上下文能力主要在预训练和持续预训练阶段获得，SFT 阶段更多是”激活”而非”教会”。

---

八、长输出数据：AgentWrite 范式

前面讨论的都是长输入。LongWriter (THUDM, 2024) 解决了长输出的问题——让模型能生成超过 10,000 词的连贯文本。

8.1 问题

即使模型支持 128K 上下文，其输出长度通常被限制在 2,000 词以内。原因是 SFT 数据中几乎没有长输出样本。

8.2 AgentWrite

原理：将超长生成任务分解为子任务的 Agent 流水线。

"写一篇 20,000 词的报告" 
    → Agent 拆解为 10 个 2,000 词的子任务
        → 每个子任务独立生成
            → 合并为完整输出
                → 作为 SFT 训练数据

数据集：LongWriter-6k，6,000 条 SFT 数据，输出长度 2K—32K 词。

这个方法的巧妙之处在于：用现有模型的短输出能力，通过 Agent 编排，合成出长输出训练数据。然后用这些数据训练模型，使其具备端到端的长输出能力。

---

九、视频长上下文：LongVILA 路线

从这一节开始进入多模态领域。多模态长上下文比纯文本更难——视觉 token 数量远多于文本 token，一张图可能占几百个 token，一段长视频可能占几十万个 token。

9.1 LongVILA 五阶段训练

LongVILA (NVIDIA, 2024) 提出了多模态长上下文的完整训练方案：

阶段	目标	数据需求
1. 视觉-语言对齐	图文对齐	图文配对数据
2. 预训练	多模态理解	大规模图文数据
3. 短 SFT	指令遵循	短指令多模态数据
4. 上下文扩展	延长上下文窗口	长序列多模态数据
5. 长视频 SFT	长视频理解	长视频+标注数据

阶段 4 和 5 是 LongVILA 新增的。

9.2 系统层创新：MM-SP

仅有数据还不够。长视频训练的计算和内存需求极高。LongVILA 提出了 Multi-Modal Sequence Parallelism (MM-SP)：

• 支持在 256 GPU 上做 2M token 长度的训练
• 比 Ring Sequence Parallelism 快 2.1x—5.7x
• 无需梯度检查点

9.3 效果

• Video Needle-in-a-Haystack：在 6000 帧（100万+ token）视频中达到 99.8% 准确率
• VideoMME：7B 模型达到 65.1%

9.4 数据构建的特殊性

视频长上下文数据的构建面临独特挑战：

• 标注成本：长视频的人工标注极其昂贵
• 帧采样策略：如何在保留时序信息的同时控制 token 数量
• 时间跨度：视频中的长距离依赖是时间维度的，不同于文本中的语义引用

---

十、视觉文档长上下文：344K 训练实践

“How to Train Your Long-Context Visual Document Model” (Veselka, 2026) 是目前最系统的多模态长文档训练研究，将上下文推到了 344K。

10.1 数据管线

基础语料库：

来源	规模
网页抓取 PDF	250K PDF，1600 万页
PDFA 英语子集	200 万 PDF，1800 万页
ArXiv / Sci-Hub / OpenReview	学术文档

10.2 CPT 阶段数据（无监督/弱监督）

设计了 4 种可大规模扩展的自监督任务：

任务	方法	训练目标
填空	移除一页，预测缺失内容	跨页理解
乱序重排	打乱页面顺序，预测正确顺序	文档结构理解
键/位置检索	检索特定键或位置的文本	精确定位
计数	统计各页实例数量，求和	跨页聚合推理

10.3 SFT 阶段数据（合成）

递归答案生成管线：

长文档 → 逐页提取与问题相关的证据
    → 数值评分排序页面相关性
        → 最相关页面 + 证据 → 教师模型(Qwen3 VL 235B)生成答案
            → 构成 (文档, 问题, 答案) 三元组

这个管线支持自我改进：用小模型本身生成的数据微调自身，实现弱到强的提升。

10.4 关键发现

这篇论文有几个颠覆性的发现：

1. 上下文长度匹配比越长越好更重要

在与目标基准匹配的上下文长度上训练，优于在更长上下文上训练。

这与 ProLong 的”训练应超过评估长度”看似矛盾，但实际上揭示了不同阶段的差异：预训练阶段需要超长数据建立能力上限，SFT 阶段需要匹配长度的数据精确调优。

2. 页索引是低成本高回报的干预

在每个图像前添加 “Page 1:”, “Page 2:” 这样简单的页码标注，就能带来 +2.8 分的提升。这个发现的本质是：给模型提供显式的位置线索，减少视觉 token 的位置混淆。

3. 视觉长上下文训练可以迁移到文本

仅在视觉长上下文数据上做 CPT，文本长上下文（HELMET）分数从 37 提升到 48.5。这说明长距离依赖建模是跨模态的通用能力。

---

十一、位置编码策略：V2PE

V2PE (Ge et al., 2024, ICCV 2025) 解决了多模态长上下文的一个技术根因：视觉 token 和文本 token 不应该共用相同的位置编码增量。

11.1 问题

标准做法是给每个 token（无论视觉还是文本）分配连续递增的位置 ID。但一张图像可能占 256 个 token，这意味着图后的文本位置 ID 直接跳到了 257。当图片数量多时，位置 ID 很快超出模型的训练上下文窗口，性能急剧下降。

11.2 解决方案

V2PE 给视觉 token 使用更小的位置增量：

文本 token: pos 1, 2, 3, ...
图像 token (标准): pos 4, 5, 6, ..., 259  (占了 256 个位置)
图像 token (V2PE):  pos 4, 4.1, 4.2, ..., 4.255 (只占约 1 个"文本位置")

11.3 效果

• 基于 InternVL2-2B 微调，训练长度 256K token
• 推理可扩展到 1M token 的多模态序列
• 在标准和长上下文基准上均有提升

11.4 对数据构建的启示

V2PE 不是数据构建方法，但它深刻影响了多模态长上下文数据的设计：数据中图像的数量和分布直接影响有效上下文长度。构建训练数据时，需要考虑视觉 token 占比对位置编码的影响。

---

十二、原生多模态模型架构概览

前两条路线（纯文本长上下文、组合式多模态长上下文）都是”文本为主，视觉为辅”。原生多模态模型走的是一条完全不同的路：所有模态在统一 token 空间中处理。

12.1 三种代表性架构

模型	机构	方法	核心特点
Chameleon	Meta FAIR	统一 tokenizer	所有模态（文本+图像）都通过离散 tokenizer 编码为统一 token 序列
Emu3/3.5	智源 BAAI	统一 next-token prediction	图像、文本、视频全部用 next-token prediction 训练，不需要扩散模型
Transfusion	Meta	混合损失	文本用 next-token prediction，图像用 diffusion loss，共享 transformer

12.2 核心区别

与组合式多模态模型相比，原生多模态模型的本质区别是：

维度	组合式 (LLaVA 类)	原生式 (Chameleon/Emu3)
视觉处理	外部 encoder → 投影 → LLM	统一 tokenizer，与文本同等处理
训练方式	分阶段（先训 encoder，再训投影，再训 LLM）	端到端联合训练
数据格式	图文配对 + 指令数据	交错的图文序列
生成能力	仅生成文本	可同时生成文本和图像
长上下文数据需求	长文本 + 长视频标注	交错模态的长序列数据

---

十三、数据构建的独特挑战

原生多模态模型对长文数据有一系列独特需求，这些需求目前尚未被充分解决。

13.1 交错数据的稀缺性

组合式模型的训练数据相对简单：图文配对（image-caption pair）可以从网上大量抓取。但原生多模态需要的是自然交错的多模态长序列——文本中穿插图片、图片旁配有文字说明、图表与分析段落紧密关联。

这种数据的天然来源有限：

来源	质量	规模	交错密度
图文并茂的网页	中	大	低（图文往往各自独立）
教科书 / 技术文档	高	小	高（图表与正文紧密关联）
学术论文	高	中	高（figure + table + text 交错）
多模态对话	高	小	中

13.2 跨模态长距离依赖

纯文本的长距离依赖是同质的：前文的一个概念在后文被引用。原生多模态的长距离依赖是跨模态的：

• 第 5 页的公式推导 → 第 15 页的实验图表
• 开头的架构图 → 中间的代码实现 → 结尾的性能曲线
• 视频前 10 分钟的场景设定 → 第 40 分钟的剧情转折

构建包含这种跨模态长距离依赖的训练数据，目前没有成熟的自动化方法。

13.3 Tokenizer 的长度膨胀

图像的离散 tokenizer（如 VQGAN、MAGVIT）通常将一张 256×256 的图像编码为 256—1024 个 token。这意味着：

• 一个包含 20 张图的文档 → 仅图像部分就占 5,000—20,000 token
• 一段 10 分钟的视频（1 fps）→ 600 张图 → 150,000—600,000 token

在统一 token 空间中，视觉 token 的数量膨胀严重压缩了有效上下文窗口。

---

十四、展望：原生多模态长文数据应该怎么构建

基于前面的分析，我认为原生多模态模型的长文数据构建需要同时解决三个层面的问题：数据来源、合成方法和训练策略。以下是我的判断。

14.1 数据来源层：三类高价值数据管线

管线一：学术文档管线

学术论文是目前最优质的原生多模态长文数据来源。一篇论文天然包含：

• 文本叙述（动机、方法、分析）
• 数学公式
• 代码片段
• 图表（架构图、实验曲线、表格）
• 跨模态引用（“如 Figure 3 所示”）

构建方法：

ArXiv PDF → 布局分析 → 图文表分离
    → 保持原始排列顺序
        → 用离散 tokenizer 编码图表
            → 与文本 token 交错排列
                → 保留跨模态引用关系标注

预估规模：ArXiv 上百万篇论文，每篇 8K—30K 统一 token，总计可提供 10B+ 高质量交错 token。

管线二：技术文档管线

软件文档、技术手册、教程等也是高质量来源：

• 代码 + 截图 + 文字说明天然交错
• 步骤式操作本身就是长距离依赖（第 3 步依赖第 1 步的截图）
• GitHub README、Jupyter Notebook、技术博客都属于此类

管线三：视频字幕管线

长视频 + 时间戳对齐的字幕/解说：

• YouTube 教程（代码演示 + 讲解）
• 课堂录像（板书/PPT + 讲解）
• 纪录片（画面 + 旁白）

关键挑战是帧采样——需要在信息保留和 token 数量之间找平衡。

14.2 合成方法层：四种互补策略

策略一：跨模态引用注入

受 LongPack 的启发，将”引用增强”从文本扩展到多模态：

文档 A（含图 X）+ 文档 B（引用图 X 做分析）
    → 打包并标注跨文档的跨模态引用

这直接构建了跨模态的长距离依赖。

策略二：图文交错合成

受 Context Synthesis 的启发：

保留高质量的多模态问答对
    → LLM + 图像生成模型合成扩展的图文交错背景
        → 组合为长上下文训练样本

例如：给定一个”分析这张架构图”的问答，合成一个包含前置知识介绍、相关工作图表、对比分析的长背景。

策略三：多模态填空与重排

受 344K 视觉文档训练的启发，设计多模态版本的自监督任务：

任务	多模态扩展
填空	移除一张图表，根据上下文预测（或生成）缺失图表的描述
重排	打乱图文交错序列，预测正确的交错顺序
检索	给定文本描述，定位对应的图表位置
生成	给定前文 + 图表，生成后续分析文本

策略四：质量感知采样

不是所有多模态长文档都有同等价值。需要根据以下指标优先采样：

• 交错密度：图文交替频率越高越好
• 跨模态引用密度：显式引用（“见图 X”）越多越好
• 信息互补性：图文传达不同信息（非重复）越多越好
• 长距离依赖密度：后文回引前文的频率

14.3 训练策略层

渐进式上下文扩展

借鉴 UltraLong 和 LongVILA 的思路：

阶段 1: 8K 上下文，图文对齐（大量短数据）
阶段 2: 32K 上下文，交错理解（中等长度数据）
阶段 3: 128K 上下文，长文档理解（合成的长交错数据）
阶段 4: 512K+ 上下文，极长多模态序列（精选的超长数据）

模态感知的位置编码

V2PE 的思路必须被纳入原生多模态：不同模态 token 的位置编码增量应该不同，避免视觉 token 过度消耗位置空间。

长短混合训练

ProLong 的”长短混合”原则在多模态场景下同样成立，甚至更加重要——纯长数据训练可能导致模型丧失对单张图片的细粒度理解能力。

14.4 我对研究方向的判断

以下是我认为最值得投入的几个方向，按优先级排序：

优先级	方向	理由
⭐⭐⭐⭐⭐	跨模态长距离依赖的自动标注	这是整个问题的核心瓶颈。能否自动从文档中提取”图 3 被第 15 页引用”这类跨模态依赖，决定了合成数据的质量上限
⭐⭐⭐⭐⭐	高效视觉 tokenizer	降低图像的 token 数量（从 256→64 甚至更少）能直接增加有效上下文长度，是一个杠杆点
⭐⭐⭐⭐	学术论文的自动解析管线	已有大量工具（如 Nougat、Marker）可做基础，需要扩展到保持图文交错结构
⭐⭐⭐⭐	多模态版 LongPack	将超链接引用扩展到跨模态引用，技术上可行且数据规模可控
⭐⭐⭐	视频的 keyframe 智能采样	不是均匀采样，而是基于信息密度的自适应采样，减少冗余帧
⭐⭐⭐	合成的交错图文数据	用生成模型合成图片嵌入到长文本中，成本高但质量可控

---

十五、方法论对比与选型建议

全景对比

方法	路线	阶段	数据规模	质量	成本	适用场景
天然长文档筛选	文本	预训练	受限	高	低	基础能力建立
LongPack 引用增强	文本	预训练	大	高	低	大规模长文预训练
Context Synthesis	文本	SFT	中	高	中	长上下文指令调优
Re3Syn 依赖感知	文本	预训练/SFT	中	高	中	需要真实依赖的场景
LongAlign	文本	SFT	小	高	高	长指令对齐
AgentWrite	文本	SFT	中	中	低	长输出训练
LongVILA	多模态	全流程	大	高	很高	长视频理解
344K VDM	多模态	CPT+SFT	大	高	高	长文档视觉理解
V2PE	多模态	任意阶段	—	—	低	位置编码优化（即插即用）

我的建议

如果你在做纯文本长上下文：

• 预训练阶段用 LongPack 扩充长文档，混合代码仓库和书籍
• SFT 阶段优先用 Context Synthesis，成本效益最高
• 需要长输出能力就加入 AgentWrite 数据

如果你在做多模态长上下文：

• 先上 V2PE 解决位置编码问题（无需数据修改）
• 344K VDM 的自监督任务（填空、重排）适合大规模 CPT
• SFT 阶段用递归答案生成管线合成数据

如果你在做原生多模态长上下文：

• 这是一个开放问题，没有现成方案
• 从学术论文管线开始——这是目前最高质量的交错数据来源
• 投资视觉 tokenizer 的效率优化——这是杠杆最大的单点
• 关注跨模态引用的自动标注——这决定了合成数据的天花板

---

长文数据构建全景调研 | Tuntang 研究 | 2026.04.01