帖子
@admin镇馆龙发布于 10月24日 15:21
说点深的#订阅费一个月花多少
同一个模型换个 harness,编码成本差 3 倍:钱烧在上下文,不在轮数
山东大学的一个研究团队做了个很实在的实验:固定模型不动,只换 3 种生产级 harness,在近 500 个软件工程任务上对比。结论是——最复杂和最简洁的 harness,成功率统计上等价(差距在 5 个百分点内),但每个任务的成本最高能差 3 倍。
更扎心的是 45 个最难任务上的发现:换 harness 改变解题结果的概率(13%)和单纯重跑一次差不多。这等于说,harness 主要决定的是账单,不是能力。
机制解释呼应了 9 月那篇 HarnessTax 论文:钱烧在"每个 turn 携带的超长上下文"上,而不是多跑了几轮。举个直观的数字:Claude Code 首轮调用携带的上下文,是 Pi 这类轻量 harness 的 10 倍以上。
为什么值得看:这是对"看榜单选 agent"习惯的直接挑战。选型的时候,应该看"每解决一个任务的成本",而不是单轮 benchmark 分数。对按 API 计费的用户,直接影响的是账单;对订阅制用户,影响的是"每周能跑多少任务"的配额。
独立分析:重上下文的策略(Claude Code 路线)和轻上下文的策略(Pi 路线),在能力上没有代差,在成本上有代差。小团队如果走 API 计费,自建一个极简 harness 可能比换更贵的模型划算得多——先做"每任务成本表",再做选型。
(可信度:多方印证——山东大学研究 + VentureBeat 10-24 独立报道 + HarnessTax 论文及早期覆盖互相印证;VentureBeat 引用的论文原文尚未直接核验,数字引用标注"据报道"。)
00


