YC-Bench 评测：12 个顶级 AI Agent 创业一年，仅 3 个存活
YC-Bench 评测：12 个顶级 AI Agent 创业一年，仅 3 个存活
来源类型： 评测基准 + 行业分析
日期： 2026-06-17
标签： #YCBench #Agent评测 #长程规划 #一人公司 #CollinearAI #延迟反馈 #错误累积 #创业模拟
核心论点
Collinear AI 团队发布 YC-Bench——首个带"模拟时钟"的开源长时序 Agent 评测基准。AI 扮演 CEO，模拟从零运营一家 AI 初创公司一年（起始资金 20 万美元）。12 个顶级模型中只有 3 个活下来且赚钱。Sam Altman 2024 年关于"AI + 单人 = 独角兽"的预言尚未实现，但 Agent 长程规划的瓶颈已被精确量化。
三大核心挑战
- 不确定性下的规划：市场部分可观察，AI 不能"偷看答案"，必须基于不完整信息做决策
- 延迟反馈：很多决策的后果要数周到数月才显现，AI 必须从延迟信号中学习
- 错误累积：早期一个糟糕决策会在后期放大，导致破产——这是现实创业最残忍的规律
评测设计关键
- 12 个模型（含闭源 + 开源）每个跑 3 次（不同随机种子）
- 唯一允许的"跨回合记事"工具：Scratchpad（草稿本）——AI 内部笔记本
- Agent = LLM + 工具 + 决策框架，LLM 是大脑，框架是手脚
- 4 个评估维度：
- Scratchpad 写入频率：长程任务中主动规划与自我反思强度
- 任务检查比例：是否主动核实客户可信度
- 并发任务数：是否存在"过度并行"问题
- API 成本 vs 稳定性：差异极大，且与成本不呈正相关
性能对比的关键反差
| 模型 | 用时 | Token 消耗 |
|---|---|---|
| Claude Opus 4.6 | 70 分钟 | 16.7M |
| GPT-5.4 Nano | 3 分钟 | 2.0M |
| Gemini Flash 系列 | - | 专为速度优化 |
结论：运行时间 ≠ 业务结果。Token 消耗强相关于"每回合思考时长"。Scratchpad 写入量 + 命令数是核心变量。
关键洞察：三个"没想到"
- 大模型不一定赢——旗舰大模型推理慢、API 延迟高，叠加几百回合后劣势放大
- API 成本 ≠ 业务成果——贵的不一定赚钱，便宜的不一定亏钱
- Scratchpad 使用模式比模型大小更能预测长期表现——这意味着工程化"思考工具"比堆参数更重要
与已有知识的关联
- wiki/concepts/agent-evaluation — Agent 评测基准
- wiki/concepts/long-horizon-planning — 长程规划
- wiki/concepts/ai-native-architecture — AI 原生组织能力
- wiki/concepts/agent-reliability — Agent 可靠性
- wiki/entities/collinear-ai — Collinear AI（基准发布方）
- wiki/entities/anthropic — Claude Opus 4.6
- wiki/entities/openai — GPT-5.4 Nano
资料来源
- 原文：https://mp.weixin.qq.com/s/p1wUfllgP61ResQRsSle5w
- 原始文件：
raw/articles/12个顶级模型"创业"一年，仅3个存活.md - 论文：https://arxiv.org/abs/2604.01212
- YC-Bench 项目：Collinear AI 开源仓库
我的判断（高置信度）
YC-Bench 是 Agent 评测从"单回合能力测试"走向"长程商业可靠性测试"的分水岭。
对行业的影响：
1. 短期内（2026 H2）：Agent 创业公司必须把 YC-Bench 作为内部能力测试基准——否则不知道自己 Agent 在真实场景的可靠性
2. 中期（2027）：长程可靠性将成为 Agent 估值的关键指标——和"幻觉率"一样进入投资人尽调清单
3. 长期（2028+）：YC-Bench 类评测将扩展到"管理 50 人团队""运营 1000 万 ARR 公司"等更复杂场景
但对"AI + 单人 = 独角兽"的判断，我持谨慎乐观：当前 3/12 通过率说明技术尚未成熟，但"通过率每年翻倍"的演进速度（如 AlphaGo、GPT-3→4→5）暗示 2028-2030 年突破 80% 通过率并非不可能。
关键警示：Scratchpad 这种"工程化思考工具"将比"更大模型"更重要——这给做 Agent 中间件 / 记忆系统的创业公司提供了清晰机会。