返回评测
综合 综合-排行榜 未饱和 模态 · 文本 任务 · 混合题型

MTEB

涵盖 8 大任务类型、58 个数据集的嵌入模型评测标准

Cohere / HuggingFace ·

考察能力

语义相似度 检索 聚类 分类

构建信息

数据规模
58 datasets, 8 task types
评测方式
标准评测
核心指标
Average score across tasks

资源链接

论文: arXiv:2210.07316 官网

模型效果排行

🥇 Cohere embed-v4
~72%
🥈 OpenAI text-embedding-3-large
~69%

为什么重要

MTEB 是嵌入模型（embedding model）领域的权威排行榜，覆盖分类、聚类、检索、重排、STS、摘要、对话等 8 大任务类型。RAG 时代的检索质量很大程度上取决于嵌入模型质量，MTEB 是选型的核心参考。

构建方式

  1. 整合 58 个已有嵌入评测数据集
  2. 统一评测流程和指标
  3. HuggingFace 排行榜持续更新

任务示例

检索：给定查询，从候选文档中检索最相关的 STS：判断两个句子的语义相似度 聚类：将相似文本聚为一组

关键发现

  • 大型嵌入模型不一定最好
  • 任务特化微调效果显著
  • 多语言嵌入仍有较大差距

关联基准

  • 无直接同类（MTEB 本身是元基准）

不足与展望

  • 部分子数据集老化
  • 缺少长文本嵌入评测
  • MTEB v2 已在筹备
嵌入 检索 排行榜 RAG