Tokenizer 可视化 2.0
BPE 学习 + 13 种 Tokenizer 覆盖 2024-2026 + 多模态视觉分词 + PK 对决 + API 成本估算
ℹ本工具使用启发式规则模拟 BPE 分词效果，结果与真实 tokenizer 存在差异。精确结果请参考各模型官方工具。
OpenAI GPT-4o/GPT-5 系列使用的 tokenizer，词表 200K，显著提升多语言效率2024
多语言优化BPE200K 词表
快速示例:
输入文本查看分词结果
支持 13 种 tokenizer 预设，覆盖 2024-2026 年主流模型