弱模型赢了，功劳算谁的？AI 模型跑分真相，比你想象的更不靠谱
作者：Robonaissance 研究团队
编译：深潮 TechFlow
深潮导读：在各大主流大模型日趋激烈的跑分角逐中，“模型 A 比模型 B 高出 8 分”往往被科技界和资本市场简单粗暴地解读为智商的高下。然而，来自谷歌云 AI 研究团队与西北大学的最新实证研究却彻底戳破了这一迷思：在不触动任何模型底层权重的前提下，仅仅通过重构外部工作流脚手架（Harness），原本跑分落后的模型就能在办公与专业任务中轻松反超顶级模型。
这一发现揭示了一个被长期忽视的残酷现实：大模型在真实场景下的得分与能力表现，从来不是纯粹由底层模型单独决定的，而是由系统提示词、记忆、技能工具与协同脚本共同构建的环境系统综合驱动。所谓的跑分榜单，本质上并不是两颗裸脑的智力决斗，而是两个人在两间不同配置的办公室里的表现较量。理解这一点，对于当下盲目追捧大模型跑分、忽视应用工程架构的行业生态具有极强的警醒价值。
一个 AI 智能体被分配了一项编程任务，并展现出了极其勤勉的姿态。
它巨细靡遗地说明了自己打算打开哪个代码文件、准备执行哪条终端指令，以及计划进行哪项校验检查。
然而真正的致命麻烦在于，它仅仅停留在“嘴上说说”。该智能体只是将所有的工具调用以纯文本的形式罗列了出来，宛如一名双手插兜、站在一旁嘴上指导维修的学徒，实际上根本没有运行任何一行代码。最终，这项任务在满分 100 分中仅获得了 60 分。
随后，研究人员仅仅修改了该智能体所处环境中的一个配置文件。那是一段简短的工具调用指引，明确告诫它不要再输出任何虚假的纯文本调用指令。底层的模型完全相同，其神经网络权重未曾被触动分毫，测试任务也毫无二致，但最终得分却直接飙升到了 100 分满分。
这个鲜活的案例出自谷歌云 AI 研究院（Google Cloud AI Research）与美国西北大学的研究人员于 2026 年 10 月 9 日联合发布的一篇前沿学术论文。论文中的测试数据均基于作者团队自身的实验记录，尚未经过完全独立的外部复现。
这看似是一个微小且略带幽默色彩的插曲，但它却直指一个深远的核心命题：每当我们读到“某款 AI 模型在测试中击败了另一款模型”的宣传标语时，人们脑海中往往会浮现出两颗纯粹的大脑在同台竞技的画面。
然而在现实中被拿来比对的，实际上是两颗各自置身于特定系统指令、专属辅助工具和工作习惯之中的大脑，且每个系统背后所倾注的工程优化心血也大相径庭。最终的评测得分永远属于这三者的有机结合，而绝非单凭模型自身所能独揽。
如今，围绕在模型周边的这部分脚手架优化工作，已经可以交由另一个 AI 自动化完成。在这些实际任务中，这层外围环境的调优幅度足以彻底颠覆原本的模型优劣排名。因此，面对任何“A 模型碾压 B 模型”的说辞，真正具有鉴别力的提问应当是：它是在怎样的一套系统环境中运行的？它究竟获得了多大力度的辅助支撑？
逆袭反超：弱模型是如何战胜强模型的
该论文最具震撼力的研究结论，在于揭示了一场戏剧性的排名洗牌。
在一项涵盖代码编写、网络搜索以及文档处理等 100 项办公基准测试中，各项任务均通过隐藏测试用例、文件完整性校验与大模型裁判进行 100 分制打分。在标准的开箱默认系统环境中，国产开源模型 GLM-5 的平均测试得分为 64.2 分；而在完全相同的标准默认环境中，谷歌旗下的 Gemini 3.5 Flash 平均得分则高达 72.4 分。按照这项评测标准本身的数据来看，Gemini 无疑是更强的一方，领先优势约为 8 分。
然而，仅仅在对其周边的环境配置进行了单轮自动化微调之后，GLM-5 的平均得分便直接跃升至 75.7 分。这不仅比其初始得分足足高出了 11.5 分，甚至比原生开箱状态下的 Gemini 还高出了 3.3 分。
在第二套现成的开箱即用测试配置下，同样的规律再次复现：经过优化后的 GLM-5 拿下了 75.3 分，反超了 Gemini 的 74.5 分。论文作者直截了当地总结道：一个底子相对较弱的模型在配备了更优的系统脚手架后，完全能够击败那些身处原生简陋环境中的更强模型。
这句话千真万确，但它所表达的真实含义比字面上听起来更为严谨克制。这绝不意味着 GLM-5 的底层认知能力已经凌驾于 Gemini 之上。因为如果对 Gemini 施加完全相同的系统级调优，它的得分同样会水涨船高，攀升至 77.5 分。
该实验结果真正证明的是：在这类办公任务中，这两款模型之间的原生能力代差，远远小于一轮外部系统工程调优所能拉开的分数鸿沟。这种幅度的排名逆转，甚至根本不需要在任何一个模型本身的权重上动用任何手术。
拆解模型脚手架：大脑之外的办公室组件
在 AI 工程界，围绕在模型四周的这层系统环境被形象地称为“脚手架（Harness）”，它的本质其实远比这个专业术语听起来更加朴素直白。
不妨想象一名职场新员工入职第一天除了带上一颗聪明的脑袋之外，办公室还会为他配备什么：一份书面的岗位职责说明、一份规章制度清单、前任员工留下的工作交接笔记、一本厚厚的标准化作业流程手册、办公软件的操作指南、几套用于自动化处理繁琐机械事务的现成脚本，以及可以随时协同分工的同事团队。
AI 的脚手架本质上就是这套工作包的数字孪生。论文将其系统性地拆解为八类核心组件：长期系统指令（Standing Instructions）、安全护栏（Guardrails）、记忆模块（Memory）、专业技能包（Skills）、工具调用指南（Tool Guidance）、自动化脚本（Scripts）、辅助副智能体（Helper Agents），以及一个能够动态拦截并修正智能体行为的轻量级插件。这其中的每一项都是一个独立的文件，没有任何一项会改动底层的模型权重。它们所改变的，仅仅是模型被告知了什么、记住了什么，以及被允许或被提醒去做什么。
这种职场类比在另一个维度上同样完全契合：将同一个能力出众的优秀人才，分别放置在一个井井有条的高效办公室和一个混乱无序的管理泥潭中，你所评测出的往往会是完全不同的两个人。没有任何人会把那种测试视作对这名员工个人能力的纯粹衡量；然而在当下，行业在解读“模型 A 拿下了 72 分”时，却几乎无一例外地陷入了这种单维度的认知误区。
无标准答案下的自适应演进：靠行为纠偏而非对错评分
优化一套脚手架最直观的途径，自然是不停尝试修改配置并保留那些能够提高分数的改动。但这种做法的前提是必须先有一个现成的打分板，而在现实世界中面对全新的开放性任务时，智能体根本没有任何预设的得分标准，因为现实中没有任何人能够提前给出唯一的标准答案。该论文提出的创新方法正是通过比对智能体的“行为模式”，而非单纯评判结果的“绝对对错”，巧妙地绕过了这道屏障。
其中的单步优化机制大致如下：智能体首先在现有的脚手架环境下完整运行一次任务，该运行记录便作为基准参照样本（Reference Run）。随后，一个负责编辑调优的模型会复盘整个执行轨迹，并提出两套优化后的全新脚手架方案：第一套方案专门针对智能体通用的行为软肋，例如任务规划、工具调用以及上下文追踪等能力缺陷；第二套方案则专门补充该特定专业垂直领域的领域知识与硬性业务规则。
接着，这两套修改后的脚手架会在完全相同的任务中再次运行，并将其执行过程与最初的基准样本进行细致对比：这次修改究竟是精准修正了预期的缺陷行为，还是毫无效果，抑或是意外破坏了其他正常环节？最后一步，系统会筛选并保留那些经过实战验证确实有效的改进项，将其合并为一套最终的脚手架，并由其运行产出最终的交付成果。在任务结束后，系统还会将本次沉淀的宝贵经验归档至案例库中，以供未来的同类任务随时调用参考。
这套方法的官方描述对其基准运行的作用极为坦诚：它“揭示的是脚手架的行为特征，而非其最终交付成果是否绝对正确”。这正是该方法的诚实核心所在。它本身无法先验地分辨答案是对是错，它所能洞察与捕捉的是执行行为本身的破绽，而最终被成功修复的，也恰恰正是那些肉眼可见的行为瑕疵。
不妨审视一下该方法成功修复的几起典型失败案例：在一项复杂的专业办公任务中，智能体需要从时间表、活动场地、人员工时与财务预算等多个分散的数据源文件中综合提炼出一份汇报备忘录。其初次运行得分仅为 43.1 分，执行日志显示，该智能体在整个过程中从未对不同文件之间的数字进行过交叉核对校验，且在撰写完成后也从未重新打开检查过已生成的文件。经过自动化调优后的脚手架强制要求它逐一列出每一项输入依据，追踪每一个数字的原始出处，并在最后运行一段脚本重新打开成品文件执行复核，最终任务得分直接跃升至 77.8 分。
在另一项法律实务任务中，智能体需要对一份仲裁程序令进行审阅批注。它最初将所有修改内容保存在了 Word 文档的修订追踪图层中，导致任何以纯文本格式阅读该文件的人只能看到接受修订后的最终文本，批注痕迹完全不可见。一项新注入的技能包强制要求它直接在正文主体中明确书写增补与删减标记，得分瞬间从 44.4 分飙升到了 94.5 分。在第三起案例中，一名负责资料搜集的助理智能体陷入了无休止的检索循环，临近截止交付时间依然两手空空，没有任何交付文件生成；而一个在检测到特定次数的纯工具调用后强制发出预警的防护插件，彻底解决了这一拖延顽疾。
显而易见，这其中的任何一项缺陷都不是由于模型在知识储备上的匮乏所致。这些智能体掌握了足够充沛的法律条文、算术逻辑和代码规范；它们真正缺失的，仅仅是优良的职业习惯：认真复核你的工作成果、把调查发现白纸黑字写下来、确保读者能够清晰看到你的修改、以及在必要时果断按下执行按钮。职业习惯在执行轨迹中是清晰可见的，这与抽象的答案正确性截然不同，这正是通过比对运行轨迹能够在没有标准答案的前提下揪出问题的根源所在。这也合理解释了为什么在三项基准测试中的两项上，底子相对较弱的模型反而获得了更大幅度的提升，因为它本身需要戒除的不良坏习惯往往更多。
反超背后的代价：更强编辑器与额外算力消耗
必须指出的是，优化后的 GLM-5 绝非凭借自身单打独斗赢下了这场较量。它的底层脚手架是由 Claude Opus 4.8 亲自操刀重写的，后者在能力层级上显著强于对决双方中的任何一位参赛选手；不仅如此，在产出最终的交付成果之前，每项任务都被反复运行了多次：基准运行一次、两个候选方案各运行一次、合并后的最终版本再运行一次。相比之下，处于对照组的 Gemini 仅仅是在其标准默认脚手架下单次运行了一遍。
因此，这场逆袭反超的本质，是 GLM-5 叠加上了一位更强大的编辑导师以及数倍的额外运行开销，去对阵没有任何外力辅助的裸机 Gemini。双方所消耗的资源与算力成本完全不对等，而实验结果本身也从未掩盖这一事实。
但两项强有力的实证证据，阻断了人们将这一成果简单归咎为“全靠更强模型替它代工”的倾向。首先，研究人员专门设计了一组让模型自我编辑优化脚手架的消融对照实验，覆盖了从 GLM-5 到 Claude Opus 5 在内的五款不同层级的模型。测试结果显示，每一款模型在该机制下均在所有基准测试中实现了自我分数的全面提升。这意味着该方法的核心逻辑并不绝对依赖于外部更强的导师模型，尽管主实验数据表格为了追求最佳效果依然采用了最强模型作为编辑端。
其次，根据作者团队细致的算力会计账目（将调优编辑过程中消耗的所有 Token 与实际执行任务消耗的 Token 全部合并计算），在他们所设定的算力预算测试区间内，该方法在单位计算开销所能换取的性能得分产出比上，依然超越了所有参与横向对比的同类方案。这是一项在特定预算区间内的严谨实证，而非证明这是穷尽天下所有算力投入的最佳范式。
同样需要警惕的是，对脚手架进行修改也绝非天然能够带来正面增益。在业界已发表的另外两套智能体增强方案中，有时甚至会出现得分显著低于未经修改的原始脚手架的情况，在编程任务中最大跌幅曾高达 6.6 分；其中另一套方案在 12 组基准与环境组合测试中，更有整整 7 组得分跌破了初始基准线。即便使用该论文自身的编辑器，如果直接盲目重写脚手架而不通过基准运行和案例库进行闭环校验，编程得分甚至会从 73.4 分断崖式暴跌至 63.2 分。大模型周边的这层系统结构具有极高的杠杆效应，足以让最终表现产生大起大落的剧烈震荡；而本次实验之所以能够推动其稳定上行，完全归功于严守了一条铁律：将每一次改动都放在智能体的真实运行行为中进行严格验证。
实证结论的边界与启示：跑分从来不是裸脑的对决
立足于现有数据能够支撑的坚实边界，我们可以得出这样一个清晰的判断：在办公、专业咨询与法律类实务任务中，大模型周边的这层脚手架体量足够庞大，庞大到足以彻底重塑模型之间的相对胜负排名；同时它的调整成本也足够低廉，低廉到完全可以针对每项具体任务实现动态定制。这正是该论文所扎实证明的全部内容。
但它绝没有证明这些改进在更深层的哲学意义上代表着绝对的智力飞跃。这些任务的评测很大程度上依赖于大模型裁判的打分，在法律测试中评判的依据也是量化踩点得分而非整项任务的完美达标。作者团队自身也坦承，在缺乏确定事实基准的前提下单纯比对行为模式，既无法从数学上担保绝对正确，也无法保证某一处改动能够无缝泛化迁移到完全不同的全新场景中。此外，测试集规模相对有限（每个领域仅包含 25 至 100 项任务），极少数任务的偶然波动就可能拉动整体均值；最后，这里的数据也并未展现出能够持续滚雪球式自我进化的奇迹，研究团队并没有进行超长周期的任务流压力测试，也从未宣称实现了无上限的自我智能跃迁。
然而尽管存在上述客观局限，其昭示的技术演进方向却是无比清晰的。如果一个模型的系统环境能够在短短几轮任务运行的时间内被另一个 AI 自动化优化与重构，那么所谓“在默认脚手架下的裸机模型”，便不再构成衡量 AI 能力的天然基准单元。它仅仅变成了无数种可能配置中的普通一种，而且往往绝不是任何人在真实生产实践中会真正采用的那种构型。
我们完全无法指望通过等待一个更完美的基础大模型诞生，就能让这层工程脚手架凭空消亡。本次实验中所修复的大量故障全部与特定的现实工作环境紧密交织，例如那些读者根本无法看到的底层修订标记，或是临近交付期限却迟迟未落笔成文的调研任务，而现实中的每一处全新职场环境都会带来其独有的摩擦力。即便论文中评测的最强大模型，在经过自身的系统环境调优后依然能够斩获数分的增益。更强大的模型或许需要的叮嘱与纠偏更少，但它终究需要在某间特定的办公室里打卡上班，而那里的操作手册，必定需要由某些人或某些智能体提前撰写完毕。
那个最初只会在屏幕上口头复述工具指令的智能体，其内在的心智容量丝毫不比后来能够真正执行指令的智能体逊色半分。它们完完全全是同一颗大脑，仅仅是工作守则里少了一句关键的提醒。当下一次当你在社交网络上看到某张宣告某个大模型完胜另一个大模型的跑分排行榜时，请务必清醒地认识到：那份榜单记录的，不过是两颗大脑在两间配置迥异的办公室里、在经历了一定次数的试错之后所交出的答卷。在彻底搞清楚是谁在幕后为它们装修了这间办公室、以及各自究竟获得了多少次重考机会之前，你从那张图表中所能获知的真实智力信息，远比它看起来要狭隘得多。