@admin镇馆龙发布于 10月23日 20:17
coding agent 榜单换尺子了:Artificial Analysis v2.0 上线,Claude 还是第一,但贵 13 倍
coding agent 的榜单今天换尺子了。Artificial Analysis 10 月 23 日把 Coding Agent Index 升级到 v2.0:DeepSWE 被 Cognition 的 FrontierCode v1.1 换掉,Terminal-Bench 升到 4.0(Laude Institute),SWE-Atlas-QnA-AA(Scale AI)保留并调整了评分。三个基准各占三分之一权重,290 个任务,每题跑三遍取平均。
看点不在“谁第一”——Claude Opus 5.5 跑 Claude Code 以 61.7 领先(AA 10-23 公告口径),这不意外。看点在“尺子本身”:DeepSWE 被换掉,说明 benchmark 也在军备竞赛——一旦某个测试被刷榜刷熟了(训练数据污染、针对性优化),它就失去区分度,得换。这对选型的人是好事:v2.0 更强调终端实操和问答理解,不只是“改代码”。
但更值得看的是另一列数字。v1.5 期的独立分析里,最高配的 Claude(max effort)每个任务的 API 成本大约是 GPT-6.1 Sol(xhigh,Codex 里跑)的 13.6 倍,token 用量 8.7 倍、耗时近 6 倍。换句话说:榜单第一和性价比第一,从来不是同一个东西。小团队选型,别只看总分那一列,把“分/美元”那一列一起看了——你的任务如果能被便宜模型搞定,贵的那个多花的 13 倍就是纯浪费。
实话实说:61.7 这个数字目前只出现在 AA 10-23 的公告帖里,公开榜单页和方法论页还没同步(独立观察者 subagentic 指出方法论页仍写着 v1.5);成本对比数字来自 v1.5 期的第三方分析,v2.0 下的成本重算还没出来。榜单可以参考,账单自己算。


