🔤 多模态 Token 可视化
训练数据 Token 分析与逆向解码——BPE 分词 · Source ID 编码 · 13 类特殊 Token 着色 · 31 种数据来源追踪
💡 逆向可视化:输入 Token ID 序列 → 解码回文本 + 渲染序列图像视图。 图像 Token(IMG_Start…IMG_Token×N…IMG_End)自动折叠为内嵌图像块,点击可展开。
解析到 11 个 Token · 1 个图像/视频块
📝 解码文本
的是在
🖼️ 序列图像视图
1 图像块11 tokens
BOSEOSIMG_Start/EndIMG_TokenVID_Start/End
<BOS>
IMG × 4
IMG_SIMG_E
的
是
在
<EOS>