企鹅标识企鹅交易洞见共识之外的价值
← 加密快讯

SemiAnalysis拿206项专业任务考AI:Opus 5.5夺冠也仅得12分

contact@theblockbeats.org (律动BlockBeats)

动察 Beating AI 快讯,SemiAnalysis 联合 14 家专业数据公司推出 GDPx,专门测试顶尖 AI Agent 的实际工作能力。整套评测包含 206 项高难度任务,覆盖芯片设计、金融、法律、生物、网络安全、软件工程等 11 个领域。

为了尽可能还原真实工作,研究人员给 AI 搭建了完整的专业环境。比如金融测试直接复刻一笔 8.8 亿美元的真实收购交易,放入约 4000 份匿名文件,让 Agent 自己翻合同、查账、修改财务模型。芯片设计要操作工程软件,材料科学要控制模拟实验设备,量化交易则要用未见过的市场数据检验策略。每项任务默认最长可运行 8 小时。

结果相当惨烈。满分按 100 分计算,Claude Opus 5.5 以 12 分的综合成绩夺冠,Google Gemini 4 Carbon 为 10.9 分,GPT-6 Astra 为 9.6 分。金融和法律领域尤其难,按照严格的整项通过标准,所有参测模型均为零分。

顶尖模型已经具备很强的单项能力,却仍然难以统筹复杂工作中的多重要求。它们能够完成局部计算和分析,却经常判断不出哪些材料更可靠、哪些条件不能遗漏,甚至无法发现自己提交的方案存在重大缺陷。

金融测试中,AI 经常能算对数字,却分不清哪份文件更权威,甚至拿过期材料覆盖正式协议。法律测试中,四款模型尝试 20 次修改融资协议,没有一次交出可用版本。其中 13 次没发现其他股东有足够票数剥夺客户的保护权,20 次全部漏掉了通过子公司绕开保护条款的漏洞。

当 Agent 开始独立操作系统,完成任务的冲动还可能压过安全规则。在 200 次模拟企业渗透测试中,196 次至少违反一项操作规则,173 次涉及严重违规。有的模型为了找到漏洞,甚至开始探测授权范围之外的系统。