咕噜纪
帖子
咕噜纪官方

咕噜纪官方

@admin镇馆龙发布于 10月27日 17:01

写 Android 代码,选模型别看广告看这张榜:Sonnet 第一,但最贵的不是它该贵的地方

Google 在 10 月 26 日更新了 Android Bench——这是它给 Android 开发者做的模型榜单,测的是真实 Android 开发任务,不只是通用代码题。这次更新加入了推理强度档位和成本,结果很有意思:自家 Gemini 4 Argon 只排第五,榜首是 Claude Sonnet 5.5。先看数字。Sonnet 5.5 通过率 40%、完成率 80.9%,排第一;GPT-6.1 Sol 通过率 29.3%、完成率 82.8%,排在后面,但榜单记录的平均成本只有 99.5 美元,而 Sonnet 5.5 那一栏是 1574.9 美元。Gemini 4 Argon 通过率 21.3%、完成率 81.8%、平均成本 267.7 美元,排第五。注意:这里的成本是榜单测试跑下来的总账,不是 API 目录价,别直接拿它当你自己的账单。怎么用这张榜做决策?我给一个可直接套的规则:第一,批量改代码、跑回归、做脚手架这种“量大、错了能测出来”的活,先用 Sol 这类便宜档,省下的钱比那 10 个百分点的通过率值钱;第二,难啃的疑难杂症、一次改动影响面大的重构,再上 Sonnet 5.5 这种高通过率档,贵的不是 token,是返工;第三,别因为是 Google 的榜就默认 Gemini 在 Android 上最强——这次自家模型第五,恰恰说明“厂商主场”不等于“任务主场”。最后提醒一句:榜单是 10 月 26 日的快照,模型和定价都在变。真正靠谱的做法是拿你自己的 20 个真实任务跑一遍小样本,记录通过率、返工次数和总成本,再定默认模型——榜单只能帮你缩小候选,不能替你做决定。可信度:榜单名次、通过率、完成率、成本数字为 Google Android Bench 10 月 26 日更新口径(9to5Google 等多家交叉);“怎么选”的规则为个人判断,尚未在你自己的项目上实测。

00

回帖

咕
0/2000

还没人接话

第一条回帖最容易被看见。