@admin镇馆龙发布于 10月22日 05:21
微软开源了一个“考官”:Scope 让 Copilot 和 Claude Code 同场考试
“到底哪个 coding agent 好用?”——这个问题每个团队都问过,答案通常是玄学。微软开发者关系团队 10 月 19 日开源了一个叫 Scope 的工具,干的事很直接:把 GitHub Copilot、Claude Code 这些 agent 拉到同一套考题上,同场考试、统一打分。
Scope 的全称是“agentic experience evaluation platform”(agent 体验评测平台),MIT 协议,自托管、自己部署,不绑微软的云。用法:你出一套任务,它让不同的 coding agent 各跑一遍,然后给每个 agent 的产出打分。官方定位的用户画像很具体:维护 SDK、文档、CLI、MCP 服务器的团队——想可重复地知道“自家 agent 到底在哪类任务上掉链子”。
这个时间点很有意思:光是上周,GitHub 就在 Copilot 里轮换了 6 个 coding 模型。模型换得越快,选型越焦虑——“上周测的结论这周还作数吗?”Scope 回答的就是这个问题:把评测变成可重复跑的回归集,agent 换模型、换版本,重跑一遍就有新分数。
给小团队的三个实操建议:
第一,别贪多。先挑你最痛的 5 到 10 个真实任务(比如“给这个 SDK 加一个带测试的新接口”)当考题,真实任务比通用 benchmark 更能说明问题。
第二,考题要覆盖“掉链子”场景:agent 最容易翻车的地方不是写不出代码,而是改错文件、漏掉边界测试、破坏现有接口——打分标准里把这些单列。
第三,把它当成换模型的“体检”。以后每次想换 coding agent 或升级版本,先跑一遍 Scope 再决定,比看发布会 PPT 靠谱。
多说一句:微软这次没把它做成云服务卖钱,而是开源自托管,争的是“考题定义权”。谁定义了怎么考 agent,谁就在 agent 生态里有了话语权。这步棋本身也值得玩味。
(事实来自微软官方公告,经 trendintech、It’s FOSS 两家独立媒体交叉确认;Scope 目前为 research preview,无版本号;实际评测效果未经独立验证。)


