交错思维链：从 ThinkMorph 范式构建视觉-语言交替推理的中训练数据

触发动机

ICLR 2026 收录了一篇让我眼前一亮的工作：ThinkMorph——Emergent Properties in Multimodal Interleaved Chain-of-Thought Reasoning（NUS、ZJU、UW、Stanford、CUHK 联合提出，GitHub：thinkmorph/thinkmorph）。它的核心发现是：让模型在推理过程中交替生成文本和图像（“想到哪里画到哪里”），比纯文本 CoT 或纯视觉推理都更强。更有意思的是，这种交错推理展现了涌现特性——模型会自主决定什么时候该用图来辅助思考，什么时候该用文字。

这个发现对数据构建有直接启示：当前多模态训练数据要么是”图→文”（给图写描述），要么是”文→图”（给描述画图），缺少的恰好是“文↔图↔文↔图”这种交错格式的推理链数据。如果中训练阶段就大量暴露这种交错推理模式，模型应该更容易在推理时自发产生 ThinkMorph 式的行为。

同时，站内对学术海报推理链（academic-poster-multimodal-reasoning-data-proposal）和科学图表 QA 蒸馏的 proposal 都指向同一个方向——视觉-语言交叉推理数据的缺失。本 proposal 可以视为一个更通用的框架，将”什么时候该用图、什么时候该用文字”这个元判断本身作为训练目标。

战略判断：为什么交错推理是多模态的下一个突破口

行业趋势

1. 原生多模态正在取代管道式：Emu3（Nature 2026）证明了统一 next-token prediction 可以处理文本/图像/视频，意味着交错数据在技术上已经可以被消化。
2. ThinkMorph 的涌现性暗示这是模型的”自然思维方式”：不是强迫模型交错，而是模型本身倾向于交错——只是因为训练数据中没有这种模式，所以能力被压抑了。
3. 评测侧已经在推进：ICLR 2026 有专门的 multimodal reasoning track，CharXiv 上 GPT-4o 图表推理骤降 70%，问题不在模型架构而在训练数据。

能力缺口

人类的推理天然是交错的——物理学家在纸上推公式时画受力图，程序员在白板上画架构图然后写伪代码，科学家在论文里交替呈现数据图表和分析文字。但当前训练数据几乎没有这种”思考过程中的图文交错”，只有”最终产物中的图文排列”。

方法论

核心思路：从人类的交错思考过程中逆向工程训练数据

已有的数据            缺失的数据
─────────          ──────────
论文（图+文）  →    写论文过程中的图文交错推理
教材（图+文）  →    备课过程中的图文交错讲解
代码+文档     →    设计过程中的架构图↔代码交替

来源 1：教科书解题过程重构

数据源：STEM 教材的例题和解答

方法：将线性排列的”题目→解答”转化为交错推理链

原始数据：

题目：一个质量为 m 的物体放在倾角 θ 的斜面上...
解答：设摩擦力为 f，由牛顿第二定律 F=ma，沿斜面方向...

转化后的交错推理链：

[TEXT] 首先分析受力情况。物体在斜面上受到三个力。
[IMAGE] <受力分析图：重力mg向下，法向力N垂直于斜面，摩擦力f沿斜面向上>
[TEXT] 建立坐标系，以斜面方向为x轴、法向为y轴。将重力分解：
[IMAGE] <坐标分解图：mg sinθ 沿x轴，mg cosθ 沿y轴>
[TEXT] 沿x方向：mg sinθ - f = ma。沿y方向：N - mg cosθ = 0。
[TEXT] 由 y 方程得 N = mg cosθ，代入摩擦力公式 f = μN = μmg cosθ
[IMAGE] <数值代入计算过程的手写推导图>
[TEXT] 整理得加速度 a = g(sinθ - μcosθ)

自动化方法：

1. 解析教材，识别文字段落和配图位置
2. 用 LLM 将线性解答重构为”交错思维流”——在关键推理步骤后插入图像描述
3. 用图像生成模型根据描述生成实际图像
4. 验证：最终答案与原始解答一致

来源 2：论文写作过程逆向工程

数据源：arXiv 论文（含 LaTeX 源码和图表文件）

方法：从最终论文倒推作者的思考过程

论文通常遵循”问题→方法→实验→结论”结构，但作者的实际思考往往是：

1. 看到一组实验数据 [IMAGE] → 发现异常模式 [TEXT]
2. 假设原因 [TEXT] → 画示意图验证 [IMAGE]
3. 设计对照实验 [TEXT] → 预测结果曲线 [IMAGE] → 对比实际结果 [IMAGE]

自动化方法：

1. 提取论文的图表和对应的引用段落（“As shown in Figure 3…”）
2. 识别图表之间的逻辑依赖关系
3. 用 LLM 重构为”研究者的思考日记”——一个交错的推理过程
4. 质量门控：确保每个 [IMAGE] 标签对应一个真实的、可验证的图表

来源 3：软件设计文档重构

数据源：GitHub 上的优质技术设计文档 + 配套代码

方法：将”架构文档 + 代码”转化为交错的设计思考过程

[TEXT] 系统需要处理高并发订单，先考虑整体架构
[IMAGE] <系统架构图：API Gateway → Order Service → Queue → Payment>
[TEXT] 订单服务核心是状态机，定义四个状态和转换规则
[IMAGE] <状态机图：Created → Confirmed → Paid → Completed>
[TEXT] 实现状态转换的核心代码：
[CODE] class OrderStateMachine { ... }
[TEXT] 支付回调需要考虑幂等性，看一下时序图
[IMAGE] <时序图：Client → API → OrderService → PaymentService → Callback>

元判断数据：什么时候该画图

最独特的数据类型——训练模型判断”这一步应该用图还是文字”：

[CONTEXT] 正在分析一个复杂的递归算法
[DECISION] 此处应该画图。原因：递归调用树的深度超过 3 层，
纯文字描述容易迷失层级关系，树形图能直观展示调用和返回路径。
[IMAGE] <递归调用树>
[CONTINUE] 从图中可以看到，存在大量重复计算...

这种”决策+理由”的格式让模型学会元认知——不只是会交错，而是知道为什么要交错。

规模估算

来源	条数	Token 量
STEM 教材解题（公开教科书）	50,000 条	1.5 亿 token
论文写作过程逆向（arXiv top-cited）	20,000 条	1 亿 token
软件设计文档（GitHub）	15,000 条	7500 万 token
元判断数据	30,000 条	3000 万 token
总计	115,000 条	~3.5 亿 token

关键挑战与应对

挑战	应对
图像生成质量不够	仅在中训练阶段使用图像描述（[IMAGE] 标签+文字描述），不必真的生成图像；真实图片仅在 SFT 阶段使用
”假交错”问题——为交错而交错	每个 [IMAGE] 插入点必须通过”信息增益检验”：移除这张图后推理是否变得更难？
教材版权	优先使用 CC/公有领域教材（MIT OCW、OpenStax 等）

落地路径

1. Week 1-2：从 OpenStax 物理/数学教材提取 5,000 道例题，构建交错转换 pipeline
2. Week 3：人工审查 200 条，调优转换质量
3. Week 4-5：扩展到论文和设计文档来源
4. Week 6：构建元判断数据集
5. Week 7-8：质量门控 + 规模化产出

与已有方案的关系

与站内学术海报 proposal 是不同层次的关系：学术海报聚焦的是”从海报图像中提取推理链”（给定图 → 输出推理），本方案聚焦的是”在推理过程中什么时候该产生图”（推理中 → 图文交错）。前者是理解数据，后者是生成数据，两者互补。

与科学图表 QA 蒸馏也互补：那个 proposal 是 L1-L4 的图表问答（静态），本方案是动态推理过程中的图文交错（过程性）。