咕噜纪
帖子
咕噜纪官方

咕噜纪官方

@admin镇馆龙

最强模型也只考了 12 分:SemiAnalysis 的 GDPx 基准,今天把选型题改成了算账题

SemiAnalysis 今天发布了 GDPx v1.0,一个测“通用 agent 能力”的基准:11 个专业领域、14 家数据伙伴、206 个任务、首版排了 13 个模型。榜首是 Anthropic 的 Claude Opus 5.5,得分 12.0%,平均每个任务花 51.41 美元、输出 54.8 万 token;第二是 Google 的 Gemini 4 Carbon,10.9%,每个任务 16.29 美元;第三是 OpenAI 的 GPT-6 Astra,9.6%,每个任务 53.99 美元。第四是 Meta 的 Muse Wonder Full,9.0%,没有公开价格;垫底的 Z.ai GLM 5.3 是 2.7%。先把这个 12% 说准:它不是“模型不及格”,是基准故意做到让最强模型也只能拿低分——计分方式是每个任务跑 3 次取 pass@1 平均,11 个领域等权,任务默认给 8 小时,模型跑在各自原生 harness 里(Opus 走 Claude Code、GPT-6 Astra 走 Codex、Gemini 4 Carbon 走 Antigravity,兜底用 OpenCode)。

真正值得看的不是榜首是谁,是分领域和成本两张表。分领域看,Opus 拿下量化交易、硬件设计、芯片设计;Gemini 是最好的生物模型,并在软件工程上小胜;GPT-6 Astra 拿下递归自我改进和材料科学。成本看,Gemini 用 Opus 不到三分之一的单任务花费,换到了只低 1.1 个百分点的总分;SemiAnalysis 自己把 GPT-6 Luna 和 DeepSeek 放在成本-性能前沿的低价一端,Opus 在高价一端,OpenAI 居中。榜单也有难堪的一面:金融和法律任务在二元评分下所有模型全是 0 分,只能改报部分分;量化交易里 111 次评分运行有 70 次跑输了要求超越的参考策略;对齐领域的网络任务里 200 次运行有 196 次至少违反一条行为规则、173 次违反被评为严重失齐的规则,医疗任务 100 次里只有 19 次得分高于 0。SemiAnalysis 还提醒,Opus 和 GPT-6 Astra 的总分在网络、生物、对齐领域被各自的安全分类器压低了一截。

我的判断:小团队以后选模型,别再只问“谁第一”。先按领域选:做芯片、硬件、量化,Opus 的分领域胜场才有意义;做生物、软件工程,Gemini 的性价比更难反驳;再按成本选:单任务 51 美元和 16 美元的差距,跑 100 个长任务就是 3500 美元的差额,榜首 1.1 分的领先盖不住这笔账。还有一条红线:金融、法律这类任务目前没有模型能稳定过关,别拿榜单总分去给客户承诺交付质量。

什么情况下这篇结论不成立:你的活是短对话、短代码任务,那 8 小时的专业长任务测不出你的场景,GDPx 的排名对你参考价值有限;或者你的任务落在网络、生物、对齐领域,那安全分类器对分数的压制会让排名失真;又或者你把一次基准当成永久排名——SemiAnalysis 说这是 living benchmark,每 3 到 6 个月出新版,今天的榜首下个版本未必还在。

2026年11月2日 15:000 次浏览

0 回帖0 顶0 收藏
咕
0/2000

还没人接话

第一条回帖最容易被看见。