为什么重要
MerchantBench 是首个系统评测 LLM Agent 长期连贯性（Long-Term Coherence） 的基准——即模型在长时间跨度内保持目标导向行为、并根据累积证据调整决策的能力。绝大多数现有 Agent 基准（GAIA、WebArena、τ-bench 等）都聚焦于”有界任务 + 即时成功标准”，一旦任务结束就立即判分，无法暴露模型在长时间运行中的能力衰减。
卖家侧电商是评测这一能力的理想场景：选品、上架定价、现金流管理、混合延迟反馈适应等决策反复出现且相互依赖，今天的动作会严格约束明天的选择空间。MerchantBench 的核心结论极具冲击力——即使是最强的 LLM 配置，也只能达到人类平均期末净资产的 27.3%，且”打败模型的人类”本身还是毫无电商运营经验的新手。这揭示了当前 Agent 在”运营耐力（operational stamina）“上的巨大短板：模型擅长单轮工具调用，却难以在数周尺度上维持状态一致性。
构建方式
- 持久 POMDP 环境：365 天订单级模拟，8,760 个逐时步长、每 12 小时一个决策窗口，环境状态会持久化——Agent 的早期决策会不可逆地约束后续选择。
- 真实数据锚定：基于 98,843 条真实商品记录（来自 36,576 家供应商的阿里 1688 批发市场）构建商品目录与供应商网络。
- 混合延迟反馈：这是设计的核心——上游供应商事件（价格变动、商品下架、发货延迟）即时可观察，而下游订单结果（取消、缺货、晚发、退款、差评）只能通过每条订单的完整生命周期（下单→采购→发货→交付→结算）逐步浮现，迫使 Agent 不断回溯并修正早期决策。
- 26 个工具：覆盖选品、上架、定价、现金流管理等操作。
- 评测规模：8 个前沿 LLM（GPT-5.6 Sol、Claude Opus 4.8、Qwen3.7-Max/Plus、GLM-5.2、DeepSeek-V4-Pro/Flash、Kimi K2.6）× 2 个 Agent 框架（ReAct 与 Hermes）× 48 次完整年度运行，外加人类操作者与规则型基线。
关键发现
- 人类 vs 模型的 4 倍差距：最佳 LLM 配置（Qwen3.7-Max under Hermes）期末净资产 RMB 59.46k，仅达人类均值 RMB 217.61k 的 27.3%——而人类基线仅是 3 名无电商经验的新手。约 4 倍的期末现金差距说明”长期连贯性”而非”原始推理能力”才是真实鸿沟。
- 两类一致性失效：轨迹分析将差距归因为 (1) 运营不一致——活动衰减（activity decay）与过早放弃（premature abandonment），最极端案例是 Kimi K2.6 在 Day 104 放弃运营，此后 355 个决策窗口内零动作；(2) 战略不一致——目标漂移（goal drift）与证据校准失败（evidence-miscalibrated adaptation）。
- 延迟反馈是核心挑战：模型能处理即时反馈，但在”即时承诺 + 延迟后果”的不对称结构下系统性失血——这正是真实商业运营的本质特征。
最新进展
- 2026-07-31：arXiv v1 发布；2026-08-04 修订至 v2（补充附录与实验细节）。
- 2026-08-05：Pith 机器评审（T0）给出”4 major / 5 minor”，核心质疑：headline 的 27.3% 人类差距数字建立在仅 3 人的基线上，且论文未能隔离上下文压缩混淆变量（context-compression confound）——即观察到的”一致性衰减”可能是摘要机制的伪影，而非模型自身的属性缺陷。Pith 建议的验证方式：用无损上下文（外部可信摘要器或不会丢失信息的记忆）重跑同一批模型，若 Qwen3.7-Max 的 Day-282/285 视野错误与 Kimi K2.6 的 Day-104 放弃消失，则说明差距源于摘要机制而非模型能力。
- 关键趋势：MerchantBench 填补了”有界任务基准”到”长期运营部署”之间的评测空白，其”人类新手仍领先 4 倍”的结论直指”AI 自主运营店铺”类营销主张的核心盲区。但也需注意：3 人基线 + 上下文压缩混淆意味着 27.3% 应视为方向性信号而非精确分榜，后续需更多人类参与者和消融实验。
关联基准
- τ²-Bench：双控环境对话 Agent 评测
- TAU3-Bench：多模态长程 Agent 评测
- OSWorld 2.0：108 长程 GUI 任务评测
- GAIA：通用 Agent 评测（有界任务）
不足与展望
- 人类基线薄弱：仅 3 名无电商经验的新手，样本量过小，27.3% 的置信区间不可忽略。
- 上下文压缩混淆：未能证明”一致性衰减”是模型固有属性还是摘要机制伪影。
- 单平台数据：基于阿里 1688 批发数据，是否可迁移到 Amazon/Shopify 等平台尚待验证。
- 关注后续：更多人类基线参与者的补充实验、无损上下文消融、以及专用 merchant-agent 脚手架能否显著缩小差距。