章节导航第 15 章 / 共 16 章

第 15 章第五部分：前沿与展望

多模态大模型

从文本到视觉到语音——理解和生成多种模态的统一架构

最后更新：2026年10月16日多模态 Vision-Language 视觉编码器语音视频世界模型多模态评测

从语言到多模态

人类的智能本质上是多模态的——我们同时通过视觉、听觉、触觉理解世界。纯文本 LLM 只利用了”语言”这一种信息源，而真实世界的信息远不止文本。

多模态大模型（Multimodal Large Language Models, MLLMs）的目标是构建能够理解和生成多种模态信息的统一模型：

输入模态:
├── 文本 (Text)
├── 图像 (Image)
├── 视频 (Video)
├── 音频/语音 (Audio/Speech)
└── 结构化数据 (Table/Code/...)

输出模态:
├── 文本 (Text)
├── 图像 (Image generation)
├── 语音 (Speech synthesis)
└── 行动 (Action, for agents)

架构范式

范式一：LLM + 外部编码器

这是目前最主流的架构——保持 LLM 不变，通过适配器接入其他模态的编码器。

图像 → [视觉编码器] → [投影层] ─┐
                                 ├── [LLM] → 文本输出
文本 → [Tokenizer] ─────────────┘

代表作：

模型	视觉编码器	LLM	投影方式
LLaVA	CLIP ViT-L	Vicuna/LLaMA	线性投影
LLaVA-1.5	CLIP ViT-L	Vicuna	MLP 投影
InternVL	InternViT-6B	InternLM	QLLaMA
Qwen-VL	ViT-bigG	Qwen-7B	Cross-attention

范式二：Early Fusion（原生多模态）

将不同模态的 token 在输入层就混合，用同一个 Transformer 处理所有模态：

[图像 patch tokens] [文本 tokens] [音频 tokens]
        ↓                ↓              ↓
  统一的 Transformer（共享参数）
        ↓
    多模态输出

代表作：

模型	方式	特点
Fuyu	图像 patch 直接线性投影	无需单独的视觉编码器
Gemini	原生多模态训练	从预训练就混合多模态数据
GPT-4o	统一模态	文本/视觉/语音原生融合
Chameleon	所有模态 tokenize	离散 token 统一建模

Early Fusion vs. Late Fusion 对比：

维度	Early Fusion	Late Fusion（编码器 + LLM）
跨模态理解	更深入	受限于投影层
训练成本	极高（需多模态预训练）	较低（冻结 LLM + 训练适配器）
灵活性	需重新预训练	可热插拔编码器
数据需求	海量多模态数据	百万级图文对即可

视觉编码器

CLIP（Contrastive Language-Image Pre-training）

CLIP（Radford et al., 2021, OpenAI）是多模态模型的基石——通过对比学习将图像和文本映射到共享的向量空间：

$\mathcal{L}_{\text{CLIP}} = -\frac{1}{N} \sum_{i=1}^{N} \left[ \log \frac{\exp(\text{sim}(I_i, T_i) / \tau)}{\sum_{j=1}^{N} \exp(\text{sim}(I_i, T_j) / \tau)} \right]$

CLIP ViT-L/14@336px 是最常用的视觉编码器，输出 576 个 visual tokens（每个 1024 维）。

SigLIP

SigLIP（Zhai et al., 2023, Google）改进了 CLIP 的训练效率：

用 sigmoid loss 替代 softmax loss，不需要全局 batch 内的负样本
允许更大的 batch size 和更好的扩展性
被 PaLI、Gemma 等 Google 系模型采用

视觉 Token 压缩

576 个 visual tokens 对 LLM 来说太多了（特别是多图/高分辨率场景）。压缩方法：

方法	思路	压缩比
Spatial pooling	2x2 平均池化	4x
Perceiver Resampler	用可学习 query 做交叉注意力	可变
C-Abstractor	卷积 + 自适应池化	可变
Dynamic resolution	根据图像复杂度动态调整	自适应

无编码器路径：是否需要视觉编码器？

上述所有方案都将视觉编码器视为多模态模型的标准组件——CLIP 或 SigLIP 是默认选择。但 2026 年的一项 CVPR Highlight 工作直接挑战了这个假设。

Tuna-2（Meta BizAI / 港大 / 滑铁卢 / KAIST，CVPR 2026 Highlight）完全摒弃了视觉编码器，改用纯像素嵌入（patch embedding 层）直接编码视觉输入，端到端在像素空间学习。其前身 Tuna 使用级联 VAE 编码器 + SigLIP 2 表示编码器 + 2 层 MLP 映射，而 Tuna-2 证明：

无编码器设计在大规模时实现更强多模态理解（尤其细粒度视觉感知任务）
编码器方案在早期收敛更快，但最终性能被无编码器方案超越
预训练视觉编码器的知识传递并非不可替代——更大规模的像素级预训练可以达到同等甚至更好的效果

这挑战了当前”CLIP/SigLIP 是默认选择”的实践范式。不过需要注意：无编码器路径目前需要更大的训练规模才能展现优势，对于资源受限的团队，预训练编码器仍然是更实用的选择。

再往前一步：连生成侧的 VAE 也可以不要。 上面讨论的去编码器，去掉的是理解侧的视觉编码器；生成侧通常仍要挂一个 VAE 来做像素解码。SenseNova-U1.5（SenseNova / MMLab@NTU，2026-09）是一个 8B-MoT 的原生统一多模态模型，在 encoder-free 且 VAE-free 的架构内一并完成理解、推理与生成——两侧的外挂模块都去掉了。

它为此做的配套工作也值得记：视觉接口用空间一致的 patch 重建来强化；训练侧做了生成/编辑数据策展、任务形式改进与结构化 prompt 增强，原生分辨率最高支持 4K；后训练阶段为视觉美学、双语文字渲染、信息图生成、图像编辑各训一个专精专家，再用 multi-expert on-policy 蒸馏把能力合并回单一模型。

一个对”统一是否真有好处”这个问题有参考价值的观察是：它的生成数据里结构化格式的暴露很有限，但模型仍能泛化到长而复杂的结构化视觉指令——作者据此认为多模态理解能力可以迁移到视觉规划与创作。这与 §统一理解与生成里那条”协同需要共享任务知识”是同一枚硬币的两面：前者说”统一要有条件才有用”，后者给出了一个迁移确实发生的正向证据点。

第三步：这条路线已经扩展到语音——第三个模态。 上面两步都在视觉侧（理解侧编码器、生成侧 VAE），语音侧本章此前完全没有对应讨论。

Encoder-based Speech-LLM 用预训练语音编码器，而这类编码器优先保留语言内容，代价是丢掉说话人区分与副语言理解所需的细粒度声学线索。Encoder-free Speech-LLM 反过来，用轻量嵌入层把 Mel 频谱直接映射进 LLM 输入空间，让 LLM 从低层声学特征学起（arXiv:2610.01695，2026-10-01）。

这篇工作的关键贡献不在架构（架构此前已有），而在补上了 encoder-free 侧一直空白的预训练策略：

MSP（metadata-supervised pretraining）：用说话人身份、情绪等语音属性元数据做监督，把”区分谁在说”和”怎么说”变成可训练目标；
SAUC（speaker-aware utterance composition）：强化说话人区分；
random span masking：作为正则。

⚠️ 胜负条件必须原样抄，不能简化成”encoder-free 更好”（摘要原文三档，逐字回源）：

条件	结论
匹配训练数据量时	encoder-free 优于随机初始化的 encoder-based 对照模型
只有有限元数据标注时	可与”用大得多的语料预训练过编码器的模型”竞争，并在若干设置上超过

这与 Tuna-2 那条”无编码器需要更大规模才能展现优势”是同一类限定：不是无条件超越，而是”在同等数据下更划算”。引用时请连同条件一起引。

视觉语言训练流程

阶段一：预训练对齐（Alignment Pre-training）

用大量图文对训练投影层，让视觉编码器的输出与 LLM 的输入空间对齐：

数据: 图文对 (LAION-5B, CC3M, CC12M, etc.)
冻结: 视觉编码器 + LLM
训练: 只训练投影层 (MLP)
目标: 下一个 token 预测 (图像作为前缀)

阶段二：指令微调（Visual Instruction Tuning）

用高质量的视觉问答/对话数据微调整个模型：

数据: 视觉指令数据 (LLaVA-Instruct-150K, ShareGPT4V, etc.)
冻结: 视觉编码器（或也微调）
训练: 投影层 + LLM
目标: 视觉指令跟随

关键数据集

数据集	规模	类型	用途
LAION-5B	5.85B 图文对	网页爬取	预训练
ShareGPT4V	1.2M	GPT-4V 标注	高质量指令微调
LLaVA-Instruct	150K+	GPT-4 生成	视觉对话
TextVQA	45K	图中文字理解	OCR 评估
DocVQA	50K	文档理解	文档问答
MMMU	11.5K	多学科大学题	综合评估

高分辨率处理

标准 CLIP ViT 只能处理 224×224 或 336×336 的图像，远不够实际使用。高分辨率方法：

动态分辨率切片

将高分辨率图像切成多个 patch，每个 patch 独立编码，再拼接：

原图 (1344×896)
  ↓ 切片
[patch_1] [patch_2] [patch_3]
[patch_4] [patch_5] [patch_6]
  ↓ 每个 patch 独立编码
[tokens_1] [tokens_2] ... [tokens_6] + [全局缩略图 tokens]
  ↓ 拼接
总共 576×7 = 4032 visual tokens

LLaVA-NeXT 和 InternVL 1.5 都使用类似方法，支持任意分辨率和纵横比。

视频理解

视频理解面临两个核心挑战：时序建模和token 爆炸。

帧采样策略

均匀采样: 从 N 帧中等间隔抽取 K 帧（最简单，常用）
关键帧提取: 基于场景变化检测选取关键帧
时间池化: 在时间维度上池化视觉 tokens

代表模型

模型	方法	最大帧数
Video-LLaVA	均匀采样 + 投影	8 帧
LLaVA-Video（Zhang et al., TMLR, 2024-10）	SlowFast 采样	64+ 帧
Qwen2-VL	动态分辨率 + 时间编码	视频长度
Gemini 1.5 Pro	原生长上下文	1小时+ 视频

语音多模态

语音理解

将语音编码器接入 LLM，实现语音指令理解：

语音 → [Whisper 编码器] → [适配器] → LLM → 文本回复

Whisper（Radford et al., 2022, OpenAI）是最常用的语音编码器，支持多语言语音识别和翻译。

🔗 “最常用”不等于”不可替代”。 本章 §无编码器路径已经论证了预训练视觉编码器的知识传递并非不可替代（Tuna-2），并进一步去掉了生成侧的 VAE（SenseNova-U1.5）。语音侧在 2026-10 出现了同名路线（见 §无编码器路径第三步）。 ⚠️ 但本节不因此改变默认推荐：Whisper 在工程上仍是默认选择——那条路线目前只在受限条件下胜出。此处只加指向，不把一条 2026-10 的研究结果升级为工程建议。

语音生成

端到端的语音生成（不经过 TTS）：

模型	方法	特点
GPT-4o	原生语音 token	实时对话，保留情感和语调
VALL-E	语音作为 token 序列	3 秒 prompt 克隆声音
GLM-4-Voice	端到端语音对话	中英文

全模态 (Omni) 模型

真正的”全模态”模型能够在一个统一框架中处理所有模态的输入和输出：

Any-to-Any 模型:
├── 输入: 文本 + 图像 + 语音 + 视频
├── 处理: 统一 Transformer
└── 输出: 文本 + 图像 + 语音

GPT-4o 是这一方向的里程碑——同一个模型原生支持文本/视觉/语音的输入和输出，延迟低到可以实时对话。

全模态的下一站：从数字域到物理域。当前全模态模型的输入/输出均限定在数字域（文本/图像/语音/视频），但 2026 年 7 月的一个新进展拓展了”全模态”的定义边界——智元自研的具身原生全模态大模型 WITA-Omni（2026-07-28 Preview）以 85.21 分登顶 DailyOmni 全模态理解榜单，八项指标六项第一。其 Thinker–Talker–Actor 三层架构将物理动作和表情提升为与语音并列的一级输出，打通了”看、听、说、动”全模态协同。这标志着全模态模型从”数字域”向”物理域”的扩展——Any-to-Any 的输出模态不再局限于文本/图像/语音，还包括行动（Action/Robot）。

多模态评估

视觉语言 Benchmark

Benchmark	任务	特点
MMMU	多学科大学题	最权威的综合评估
MMBench	20+ 能力维度	细粒度评估
SEED-Bench	图像 + 视频	多维感知理解
RealWorldQA	真实场景问答	实用性评估
ChartQA	图表理解	数据可视化理解
OCRBench	OCR 能力	文字识别与理解
WorldBench	视觉多样性	2026-06 Princeton/NYU/Meta FAIR（arXiv 2606.06538），揭示视觉多样性盲区——最强 MLLM 仅 64%，与 MMMU/MMBench 互补
OmniCapBench	音视频联合描述	2026-10-08；786 段密集标注视频；把预测目标从自由文本改为”原子的、可验证的评估单元”，三条轨道（实体指代 / 视觉镜头 / 音频事件）。补上本章此前唯一缺失的音视频联合口径

多模态 Agent 能力基准（2026 H2 新口径）

上表七个基准全部是感知与理解类。2026 H2 的多模态竞争已经移到”多模态输入 + 长程 Agent 执行”上，补三个新口径：

ZeroBench：100 道硬图像分析题，当前视觉推理最硬的对照点（DeepSeek-V4-Flash-Vision 35.0 vs Opus 4.8 34.0，Pass@5 口径）。
ApexBench：多步任务完成度（Pass@1），DeepSeek V4-Flash-Vision 36.5 vs V4-Flash-0731 26.2。
OSWorld 2.0：computer use 的当前标准口径，严格区分 partial 与 strict——Fable 5.1 77.9 / 41.7，Opus 5 75.4 / 39.6，Fable 5 72.9 / 36.1。只报其中一个数而没有说明口径的对比都不可比。
FigCodeBench（2026-10-07）：6,194 个实例、7 个功能类别 × 4 种编程语言，按视觉与代码复杂度分三档（复杂结构推理、变化长宽比、密集几何约束），从视觉保真度 + 语法同构两个维度评测，与 MMOS 及人类偏好高度对齐。24 个主流 MLLM（Gemini 3.1 Pro、GPT-5.4、Kimi-K2.5 等）上观察到跨编程语言与难度场景的普遍非线性性能悬崖，且在刚性声明式语言上指标显著下降。

它值得单列的理由：本节现有三个口径测的都是”输入多模态 → 输出动作 / 文本”，没有”输出可执行代码”这一类。而后者恰恰是 §统一理解与生成可测量的版本——把看到的结构合成为精确可执行代码，是感知与生成在同一个产物里的统一，不是分成两个任务各测一次。

⚠️ 方法论提醒：多模态 Agent 基准的条目是”模型 × harness × effort 档位”——Terminal-Bench 4.0 的榜单条目明确写成 模型(effort) + harness 三元组，harness 为 Claude Code / Codex / Grok Build / mini-SWE-agent 等通用框架。因换用更难的任务集，最佳解决率从 2.0 版的 84.7%（据第三方榜单记录，本轮未能回源核实）降至 58.2%——榜首为 GPT-6 Astra(max) + Codex，58.2% ± 2.8%（2026-09-03），第二名 Fable 5.1(max) + Claude Code，57.9% ± 3.8%（2026-09-01）。⚠️ 两者的 95% 置信区间大幅重叠（55.4~~61.0 对 54.1~~61.7），“谁是第一”在统计上并不成立。脱离 harness 与 effort 档位谈 Agent 分数已不可比，这是阅读 2026 H2 榜单时最常见的误解。

Vision Arena

类似文本的 Chatbot Arena，Vision Arena 让用户用图像 + 文本提问，盲评两个模型的回复。

前沿方向

1. 统一生成模型

不仅理解多模态，还能生成多种模态：

图像生成：Emu、DALL-E 3、Janus、Janus-Pro（DeepSeek，7B 开源，解耦编码器——理解用 SigLIP-L、生成用独立 VQ tokenizer，在 GenEval 上超越 DALL·E 3）
视频生成：Sora、Kling、Veo
3D 生成：从图像/文本生成 3D 模型

2. World Models

将多模态理解与物理世界建模结合：

预测视频中物体的运动轨迹
理解因果关系（推倒积木→积木散落）
为机器人提供世界理解

这三格之所以长期停留在列举层面，是因为它们被当成三个独立短板分别处理。 WOVEN（arXiv:2610.12417，2026-10-08）提出一个整合性假说：空间、具身、物理、时间这四类失败共享同一个根源——视觉状态转移推理缺失，即模型难以在内部推演”某个动作作用于某个场景之后，画面会变成什么样”。若这个假说成立，价值是直接的：不必为每个下游任务单独收集昂贵标注，可以把视觉转移推理当作共享训练原语——不同模型从不同监督源学它，再复用到不同任务上。

WOVEN 为此构建了既是训练源又是基准的资源：36,076 条样本，按 20 类场景 × 5 类动作 × 8 类推理操作三维组织，素材取自视频生成模型的 rollout。三维结构最重要的价值是支持受控比较（此前的基准只分别记录缺陷，无法在三个维度之间做对照）：固定两维、只变第三维，就能回答”决定迁移效果的是场景、动作还是推理操作”。

对 38 个前沿多模态模型（含 GPT-5.4、Qwen3-VL-235B-A22B）的实测给出三层结论：

缺陷显著——即便最强的模型也远低于人类；
缺陷系统——同样的失败在不同模型家族间反复出现；
缺陷顽固——随规模增大仍存在。

⚠️ 第 3 条必须单独强调：本章从 §原生多模态模型到 §开源窗口的整体叙事是”规模化 + 原生化推动能力上升”，WOVEN 给了一个明确的反例域——有一类能力不随规模改善。这与 §读榜单时的两个陷阱里”effort 档位不是单调的”是同族：不是所有能力轴都是单调的。

但 WOVEN 不只是诊断，它还给了配方，这是提案层面更值得记的一半：用 每个仅约 2,000 条的训练子集训练，合计让 26 个外部基准中的 22 个提升，最高 +27.3 个百分点；且 WOVEN 数据可替代某个任务自身训练数据的 30–50% 而精度相当。受控比较还给出两条可操作的选数据规则，并在留出基准上做了前瞻验证：

按”它教的是哪种推理操作”来选监督，而不是按它展示的动作、场景或领域来选；并且优先选那些让视觉状态变化更大的样本，以获得鲁棒性。

📌 一句话：这是本章 §World Models 第一次有了一个可量化、可训练、可迁移的落脚点——在此之前这一节只有三条愿望式的列举。

同一格的第二个口径：物理信息到底有没有进到嵌入里。 WOVEN 测的是”能否推演状态转移”，World Embedding Benchmark（WEB，arXiv:2610.03632，2026-10-02）测的是另一半——视频表示是否编码了物理信息，以及能不能取出来。它用 8,000 个受控仿真案例、覆盖 80 个场景家族、流体力学 / 固体力学 / 动力学 / 光学与电磁学四大分支，每个案例把一段渲染视频与仿真导出的物理标注配对，支持三项任务：文本-视频检索、物理属性回归、视频-描述配对分类。设计意图写得很明确：用这三项去区分跨模态物理对齐与定量物理信息的可恢复性这两件不同的事。

三条结果值得记：

预训练的全模态嵌入模型检索很弱，同族内配对分类接近随机——即”看起来懂物理”的嵌入，在检索口径下取不出物理信息；
但轻量探针能从冻结的视频嵌入里恢复出有用的物理信息——信息其实在里面，只是检索拿不出来；
⚠️ 最反直觉的一条：用物理专用的视频-文本对做持续对比训练，检索与配对分类都变好，但物理属性回归变差——揭示了对齐性与定量可恢复性之间存在取舍。

📌 第 2、3 条合起来是本段最值钱的一句：“嵌入里有物理信息”与”检索能取出物理信息”是两个问题，而提升后者还可能损害前者。 凡用视频嵌入做物理 RAG 的，都要先想清楚自己要的是对齐还是可恢复性。论文自己也演示了这条链路：用嵌入检索参考视频做 RAG，确实提升了生成视频的物理保真度，且检索模型越强提升越大——即取舍发生在训练阶段，不是使用阶段。

⚠️ 机构未回源：该文 arXiv 元数据未给出 citation_author_institution，故本书不标注机构（提案转述的”上海财经大学团队”未获一手证实）。

3. 实时多模态交互

GPT-4o 开创的方向——毫秒级延迟的多模态实时对话：

用户: [语音] "帮我看看这道数学题"
      [图片] 📷 手写数学题
模型: [语音] "这是一道二次方程，让我帮你解..."
      [图片] 📝 解题步骤

4. 读榜单时的两个陷阱（2026-09 案例）

前面反复强调”保持批判性思维：不要盲目相信 benchmark 数字”，这里补两个教科书级的具体案例——（据 Anthropic 的 Fable 5.1 / Mythos 5.1 System Card，经两家第三方转述一致）：

effort 档位不是单调的。在 FrontierCode 1.1（Cognition 基于真实开源 PR 构建的 150 任务 agentic coding 基准）上，Fable 5.1 在 medium effort 得 63.6%，反而略低于 Fable 5 在 xhigh effort 的 64.9%。Anthropic 给出的原因是：评分器拒绝任何超出任务声明范围的文件改动，而更高 effort 下模型更常做出”正确但未被要求”的额外修改。
隐藏测试可能惩罚更严谨的解法。在 DeepSWE v1.1 上，Anthropic 复盘失败转录时发现模型产出了”等价甚至更严谨的实现”仍被判失败——因为隐藏测试针对单一参考解编写。

结论：评测分数是”模型 × harness × 评分器”三者的联合产物，其中评分器的范围约束往往比模型能力更能解释异常跳变。看到某个分数反常地涨或跌，先问评分器改了什么，再问模型改了什么。

评分器的第二宗罪：判断空间过大。 上面两条讲的是范围约束（评分器拒绝什么），OmniCapBench 讲的是另一半——判断空间（评分器要下多大的判断）。它把现有评测的三重张力讲得很清楚：

评测形态	覆盖	定位	稳定性
整段打分	✅ 广	❌ 说不清错在哪	尚可
局部探针	❌ 窄	✅ 定位清	尚可
不受约束的 LLM 裁判	尚可	尚可	❌ 随提示词 / 长度 / 措辞波动

它的解法不是”换个更强的 judge”，而是把开放空间切成封闭小问题：把预测目标从自由文本改为一组原子的、可验证的评估单元（实体指代 / 视觉镜头 / 音频事件），能硬判定的（事件是否出现、顺序是否正确）用确定性检查，确需语义理解的才交给局部 LLM 比较，且比较对象只是一小段文字。

📌 两条并列才是完整的”评分器两宗罪”：① 范围约束（陷阱 1、2）制造异常跳变；② 判断空间（本条）制造波动。对应的两种修法也不同——“换个更强的 judge”是换模型，“把判断单元做小”是改评测对象，后者的收益更根本，因为它不随模型迭代而失效。

（顺带：OmniCapBench 用它自己的这套口径测出的结论是——前沿 MLLM 局部感知强、长程音视频推理弱，具体失效集中在身份漂移（identity drift）与跨模态错配两类。）

2025-2026 前沿：原生多模态与统一生成

多模态 LLM 正在经历一次根本性的架构转变：从”拼接式”走向”原生式”。

原生多模态模型

传统方案（LLaVA 范式）是将预训练的视觉编码器与 LLM 拼接。2025-2026 年的新趋势是原生多模态——一个模型从训练开始就同时处理多种模态：

模型	特点	意义
GPT-4o	原生支持文本/图像/语音的理解和生成	首个大规模原生多模态商用模型
Gemini 3 Pro	原生图像生成（类似 DALL-E 但集成在 LLM 中）	证明 LLM 可以直接输出像素
Emu3	纯 next-token prediction 统一文本/图像/视频	Nature 2026 正式发表——首次在顶级期刊证明纯 next-token 范式可统一多模态建模
GLM-4.6V	开源 106B 多模态 + 原生工具调用	开源多模态的新标杆
Janus-Pro	解耦视觉编码：理解和生成各用独立编码器	证明”统一模型≠统一编码器”——解耦才是正确路径
SenseNova U1 Pro	商汤，NEO-unify 内核架构统一表征，8K 原生分辨率输出，长程 Agentic Generation Loop	首个”交付级”全模态——从 benchmark 竞赛进入生产交付；2026-07-18 WAIC 发布，基础版 U1 已于 4 月开源（GitHub Stars 8000+）
DeepSeek-V4-Flash-Vision-Exp	2026-08，V4 系列首款原生视觉模型，MIT 协议；开源含 safetensors 权重、Tokenizer、Prompt Encoding 参考实现与最小 PyTorch 推理实现（覆盖视觉编码器、Aligner、DFlash Attention、MoE、Hyper-Connections、DSpark），并附带 vLLM 与 SGLang 部署配方	首个前沿级开源原生多模态；ZeroBench 视觉推理 35.0 反超 Opus 4.8 的 34.0；部署门槛已被工程侧消化

⚠️ 关于 DeepSeek-V4-Flash-Vision-Exp 的一个常见误读：二手报道普遍称它”反超闭源前沿”，但对照 HF 模型卡的完整表格，这个说法只在一项上成立。逐项核对（Vision-Exp / V4-Flash-0731 / Opus-4.8）：

基准	Vision-Exp	V4-Flash-0731	Opus 4.8
纯文本 Agent（Text Agent Capabilities）
Terminal Bench 2.1	83.9	82.7	85.0
NL2Repo	57.7	54.2	69.7
Cybergym	75.3	76.7	78.3
DeepSWE	59.3	54.4	58.0
Toolathlon-Verified	75.9	70.3	76.2
DSBench-Hard	63.6	59.6	71.7
AutomationBench（Public）	25.7	25.1	27.2
多模态 Agent（Multimodal Agent Capabilities）
ApexBench（Pass@1）	36.5	26.2†	39.4
Agents’ Last Exam	27.3	25.2†	25.7
Chartography	64.3	—	65.0
ZeroBench（Pass@5）	35.0	—	34.0

† 0731 版本在 ApexBench 与 Agents’ Last Exam 上忽略输入中的多模态元素。分组沿用模型卡原始的 Text / Multimodal 两段划分——“纯文本 7 项”这个口径来自模型卡自己的分组，不是事后挑选。

真实结论比”反超”更有意思。相对自家上一代（0731），模型卡划定的 7 项纯文本 Agent 测试是 6 胜 1 负（唯一落后的是 Cybergym，75.3 对 76.7）——视觉训练确实没有以牺牲文本 Agent 能力为代价，这一点站得住。但相对 Opus 4.8，全部 11 项合计是 3 胜 8 负：领先的是 ZeroBench（35.0 对 34.0）、DeepSWE（59.3 对 58.0）和 Agents’ Last Exam（27.3 对 25.7），其余 8 项仍有差距，NL2Repo 更是差出 12 分。所以”反超前沿”这个说法要打三折：它在两项 Agent 编码/多模态推理上确实越过了 Opus 4.8，但整体仍是追赶位。另需注意两处口径：ZeroBench 是 Pass@5 而非 Pass@1；DeepSeek 的成绩统一在 DeepSeek Harness 的 minimal 模式、max effort、temperature=1.0/top_p=0.95 下测得——又是一个”模型 × harness”绑定口径的例子。

开源原生多模态的 2026-08 窗口

2026 年 8 月的三周内，开源侧集中出现了一批”原生多模态 + 长上下文 + 宽松许可”的模型，构成原生多模态从闭源走向开源的转折窗口：

模型	日期	规模	模态	上下文	许可	关键成绩（厂商自报）
Qwen3.8-Max	2026-08-03	2.4T 总参 / ~95B 激活	文本+图像+视频	1M	承诺开源权重	Terminal-Bench 2.1 86.6、GPQA-Diamond 92.6
Qwen3.8-Flash	2026-08-26	125B 总参 / 6B 激活（含 51B N-gram 嵌入）	多模态 MoE	262K（YaRN 可扩至 1M）	Qwen Community License 1.0	SWE-bench Pro 62.5
GLM-5.3-Flash	2026-08-26	320B 总参 / 18B 激活	原生多模态 MoE（文本/图像/视频/文件）	1M，128K 输出	MIT	Terminal-Bench 2.1 84.3、DeepSWE 63.4
Kimi K2.6	—	1T	原生视频输入	256K	Modified MIT	HumanEval、GPQA Diamond、AIME 2026 领先

三条值得记的归纳：

1M 上下文已是多模态模型的默认配置，不再是差异化卖点——Qwen3.8-Max、GLM-5.3-Flash、DeepSeek-V4-Flash-Vision 全部 1M。
许可显著放宽：2026-08 三周内出现 DeepSeek（MIT）、GLM-5.3-Flash（MIT）、腾讯 Hy4 Preview（Apache 2.0）等前沿级开源，与年初的限制性条款形成对比。
对 Early Fusion 成本论断的修正：上文 Early Fusion 对比表把”训练成本极高（需多模态预训练）“列为主要劣势，这一论断在 2026 H2 需要限定——对闭源前沿实验室仍然成立，但开源侧已出现 6B 激活量级的多模态 MoE（Qwen3.8-Flash）。原生多模态的推理侧门槛（而非训练侧）才是当前主要约束。📌 上表规格与成绩为厂商自报或第三方聚合站口径，未经独立复现。

交付级全模态：从 Benchmark 到 Production。SenseNova U1 Pro 代表了一个重要的行业信号：多模态模型的竞争正在从”谁能在 benchmark 上拿第一”转向”谁能交付真正可用的产品”。NEO-unify 内核架构打破了传统多模态模型中”理解”和”生成”各用不同编码器的割裂感，最高 8K 原生分辨率输出和长程 Agentic Generation Loop（数十轮智能体生成循环）使其具备了”设计交付品质”——不是生成一张”看起来不错”的图片，而是生成可以直接交付给客户的设计稿。商汤同期开源的 SenseNova-Vision 统一视觉大模型进一步将实例分割、目标检测等经典视觉任务变为通用大模型的原生能力，无需额外的任务专用 head。

统一理解与生成

最激动人心的方向是理解与生成的统一：同一个模型既能看懂图片，也能生成图片；既能听懂语音，也能合成语音。2025 年的综述研究（84 页，700+ 文献）将这一方向清晰地梳理为两大技术路线：

在比较架构路线之前，先要问一个更前置的问题：统一本身带来了什么？ 把理解与生成塞进同一个模型，首先得到的是”功能统一”——但功能统一不保证学习协同：两个目标可能互相强化、可能争抢容量，也可能只是相安无事地共存。arXiv:2609.01607（MMLab@NTU，2026-09）在一个可控的、结构原生的、不带预训练视觉先验的设置下，分三个层次检验了这件事：

表示层：两个目标确实互相提供有用信号——生成任务丰富了为理解而学的视觉特征，理解任务加强了生成所需的视觉-语言对齐。但当两个目标被强制走同一条计算路径时，其中一个会压倒另一个（非对称退化）。解法是任务解耦的架构：让冲突的视觉计算各自专门化，又保留语义交互。
任务层：三个案例研究显示，当理解与生成任务依赖共享知识时，存在正向的双向迁移。
系统层：在明确需要”先理解再生成”的复杂任务上，端到端 UMM 优于配对的 planner–executor 流水线。

作者的总结值得原样引用：恰当的专业化 + 共享的任务知识 + 端到端优化，才能把”共存”变成”协同”。

对下面这张路线对比表，这条研究改变的是读法：架构路线（纯 AR 还是扩散+AR）决定的是”怎么统一”，而上面这三个条件决定的是”统一了有没有用”——不是同一个问题，选型时要分开回答。换句话说，值得上的不是”一个统一模型”，而是”一个做了任务解耦的统一模型”。

“协同”这个说法在 2026-10 前后开始有了可测量的形态。 上面三层结论回答的是”统一要不要、怎么统”，但”统一之后测什么”此前本章没有一个对应物——现有基准要么只测理解、要么只测生成，测完再拼起来。FigCodeBench（2026-10-07，见 §多模态 Agent 能力基准）填的就是这一格：它用视觉保真度 + 语法同构双维度测”图形复现”，本质上要求理解（看清结构）与生成（写出代码）在同一个产物里同时成立，而不是各测一次再外挂一个”统一度”指标。

⚠️ 两条要放在一起读，且不要互相替代：arXiv:2609.01607 说的是统一要有条件才有用（专业化 + 共享知识 + 端到端），是设计原则；FigCodeBench 说的是统一后的产物可以被一体化地测量，是评测工具。有了评测工具不等于设计原则被验证，反之亦然。

路线	思路	代表	优势	局限
纯 AR 统一	所有模态 tokenize，统一 next-token prediction	Emu3、Janus-Pro、Chameleon	架构极简，训练流程统一	生成质量受限于 VQ 重建精度
扩散+AR 混合	理解用 AR，生成用 Diffusion head	Transfusion、Show-o、Show-o2	生成质量高（保留扩散模型优势）	架构复杂，训练需协调两种目标

Show-o2 补充：NeurIPS 2025 正会（NUS Show Lab / 字节）的 Show-o2 采用了 3D Causal VAE 空间 + 双路径空间(-时间)融合 + AR（文本）+ Flow Matching（视觉）双头架构，支持文本/图像/视频三模态理解与生成，是扩散+AR 混合路线的新标杆。

📌 待核实（2026-09-26）：本段机构标注中的”字节”一项，在真编号 2506.15564 的 3 位作者署名中未得到支持（Xie Jinheng / Yang Zhenheng / Mike Zheng Shou，未见 ByteDance 署名）。Mike Zheng Shou 对应 NUS Show Lab。暂不删改——不排除是未署名的合作项目，待一次针对性回源（Show-o2 与 ByteDance 的 affiliation 关系）后再定。

两条路线哪条会胜出尚无定论，但共识已清晰：Tokenizer 的概念正在从文本扩展到所有模态——视觉 token、音频 token、动作 token 统一进入同一个序列建模框架。Janus-Pro 的解耦编码器设计提供了一个折中思路：统一模型，但为理解和生成各自选择最优的编码方式。

扩散骨干范式：对 AR 霸权的挑战

上述两条路线都以自回归（AR）为核心骨干。但 2026 年的一项工作从根本上挑战了这一假设。

Omni-Diffusion（ICML 2026，南京大学/腾讯优图/中科院自动化所，已开源）完全基于掩码离散扩散模型（Masked Discrete Diffusion, MDM）实现文本/语音/图像三模态 any-to-any 理解与生成，首次证明自回归并非全模态唯一骨干选择。

架构要点：7B 参数（Dream-7B 主干），图像用 MAGVIT-v2 编码器（8192 token），语音用 GLM-4-Voice 分词器（16384 token），三阶段渐进式训练——视觉-语言预对齐 → 多模态联合对齐（加入语音）→ 能力强化。推理优化包括位置惩罚（抑制镜像重复）、特殊 token 预填充和自适应 token 长度分配，采样步数从 256 降至 10 仍维持高画质。

扩散骨干 vs AR 骨干的核心差异：

维度	AR 骨干	扩散骨干（MDM）
解码方式	串行，左到右	并行，迭代去噪
速度瓶颈	序列长度线性	采样步数可控（256→10）
语义控制	局部，逐 token	全局，整体去噪
全模态统一	需统一 tokenize	天然适配离散 token

Omni-Diffusion 的意义不在于它已经超越 AR——而是在理论和实践上证明了：扩散模型可以作为全模态统一骨干，并行解码天然加速，全局语义控制优于串行自回归。这与 LLaDA/Dream 等纯文本扩散模型的技术谱系一脉相承，指向了一个 AR 之外的可能性空间。

扩散语言模型统一路线：从 7B 到 16B+ MoE

Omni-Diffusion（ICML 2026，7B MDM）证明了扩散模型作为多模态骨干的可行性，2026 H1 涌现出三个规模更大、能力更全的扩散语言模型（dLLM）多模态代表工作：

模型	规模	团队	关键创新
LLaDA2.0-Uni（2026-04-22）	16B MoE	蚂蚁集团 Inclusion AI	SigLIP-VQ 语义分词 + 16B MoE dLLM + Diffusion Decoder；首次实现图文交错推理与生成（如看图下象棋、解物理题并配生图）；提出 SPRINT 无训练加速算法
Lumina-DiMOO（2026-06）	全栈	上海 AI Lab（联合上交、南大、悉尼、港中文、清华）	离散扩散框架下统一文本→图像、图像→图像、图像→文本全栈能力闭环
LLaDA-o（arXiv 2603.01068）	—	人大高瓴人工智能学院（与蚂蚁集团联合，李崇轩/文继荣团队）	长度自适应 Omni Diffusion Model（Mixture of Diffusion 框架），统一图文理解+生成；DPG-Bench 87.04

关键趋势：纯离散扩散统一路线的规模已从 7B（Omni-Diffusion）扩展到 16B MoE（LLaDA2.0-Uni），并由中国团队（蚂蚁集团 Inclusion AI、上海 AI Lab、人大高瓴人工智能学院、清华）主导。这标志着纯离散扩散路线已能与 AR 路线（Emu3、Janus-Pro）并驾齐驱——多模态终局不一定是 AR。

核心洞察：多模态的终局可能不是”多个编码器的拼装”，而是一个真正的全模态 Transformer——文本、图像、音频、视频、3D 都是 token 序列，由同一个模型统一建模和生成。纯离散扩散路线已经在 16B MoE 规模上证明了与 AR 路线并驾齐驱的可能性——这是 2026 H1 多模态最重要的进展之一。

章节小结

多模态是 LLM 的必经之路——纯文本模型只利用了人类信息的冰山一角
LLM + 外部编码器是目前最实用的范式，Early Fusion 是长期方向
CLIP/SigLIP 是视觉编码的基石，高分辨率处理是关键挑战
语音多模态正在从”文本中转”走向端到端原生处理
全模态 (Omni) 模型是终极目标——一个模型理解和生成所有模态