为什么重要
YC-Bench 是”长期一致性（long-horizon coherence）“基准新类别的代表之一（与 MerchantBench、Business Arena 同批出现）。传统 Agent 基准测的是”给定任务能否完成”；YC-Bench 则让模型连续经营一家模拟初创公司整整一年——需要在一系列相互依赖、信息部分可见（POMDP）的商业决策中保持目标一致性，而不是每回合孤立求解。
- 测的是”长期一致性”而非”单点能力”：模型在 20 回合滚动窗口中必须依赖 scratchpad（思维笔记）跨回合传递意图，否则会因”局部最优短视”而决策漂移
- 填补评测空白：现有基准没有量化”模型能否在长时间跨度的多步目标上保持一致”，而这恰是 Agent 落地（自主运营、长程项目管理）的核心风险
- 对抗性场景占比高：模拟中包含欺诈性客户、恶意合同等对抗性交互，测模型对”不可信输入”的防御——47% 的破产由未能识别对抗性客户导致
构建方式
- 基于 Y Combinator 真实创业情境构建 POMDP 状态机，覆盖融资、招聘、销售、合规、供应链等经营决策
- 模拟时间跨度为一年，每个决策回合产生新的环境状态
- 模型侧强制 20 回合上下文窗口：超出即遗忘早期信息，必须使用 scratchpad 记录长期意图——直接测长程记忆与目标一致性
- 12 个模型 × 3 个随机种子（seeds）运行，统计终局资金均值与破产率
- 代码与评测协议开源：github.com/collinear-ai/yc-bench
关键发现
- 仅 3 个模型跑赢 $200K 启动资金：多数模型在一年模拟中亏损甚至破产，说明”商业运营长程一致性”仍是前沿模型的显著短板
- Claude Opus 4.6 以 $1.27M 平均终局资金居首，GLM-5 以 $1.21M 紧随——且 GLM-5 的推理成本低约 11 倍，性价比维度反超
- 对抗性客户识别是最大分水岭：47% 的破产源于未识别的对抗性/欺诈性客户——“不信任何人”式的防御性推理（defensive reasoning）成为长程运营的关键能力
- scratchpad 使用质量是最强预测因子：能持续维护高质量思维笔记的模型终局资金显著更高——长程评测下”过程管理”比”单回合决策质量”更重要
- 评测方法论创新：POMDP + 滚动窗口 + 多种子聚合，为 Agent 长期评测提供了可复现模板
最新进展
- 2026-08-11：YC-Bench 版本更新（arXiv:2604.01212），纳入更多模型的 3-seed 统计结果
- 2026-08：与 MerchantBench（电商经营）、Business Arena（跨境店铺模拟）共同构成”市场模拟类长期基准”三件套，行业开始系统性评测 Agent 的长程一致性
- 趋势判断：此类基准的结果普遍显示”前沿模型短任务强、长程一致性弱”，预计将推动 Agent 产品在记忆系统、scratchpad 工作流上的投入
关联基准
- MerchantBench：电商经营长程模拟
- FrontierSWE：超长视界软件工程（另一条长期评测路线）
不足与展望
- 模拟环境（POMDP 状态机）与现实商业的保真度有限，分数不能直接外推真实创业成功率
- 模型数量（12）与种子数（3）有限，统计功效待提升
- 20 回合窗口为人为设计，对超长上下文模型可能低估其真实记忆能力
- 展望：期待第三方复现与更大规模模型评测，验证”长期一致性”是否随模型规模单调提升