科技媒体在报道开源项目时偶尔会闹出荒唐乌龙。MarkTechPost在报道Google开源Harness2(Harness²)时,正文由于爬虫失误被塞满了整屏Cookie隐私条款,真正的技术架构与评测数据一字未提。然而拨开这场信息闹剧,查看由Ruiyao Xu等9位研究员于2026年10月9日提交的论文arXiv:2610.14224与代码仓库,会发现这绝非普通的基础编排工具,而是一次冻结模型权重的外围自动化调优实验。

官方README明确写着:本项目并非Google官方支持的生产级产品。在Agent框架赛道上,它不是LangGraph或Google ADK的平替,而是一个通过多轮试错来修改提示词和工具调配的外挂优化器。

权重不动,全靠装备自迭代

当模型参数达到天花板后,给Agent穿戴什么装备成了决定性能的核心。Harness²采用Apache-2.0协议开源,核心逻辑是Propose–Probe–Compose两层递归机制。它把大模型当作固定的黑盒算力单元,所有优化动作都集中在提示词、外部工具、上下文记忆以及子代理拓扑上。

大模型核心权重被焊死,全靠外围可拆卸副板与探针做推演调优
大模型核心权重被焊死,全靠外围可拆卸副板与探针做推演调优

在任务级递归中,系统在完全没有真实标签反馈的前提下,自主提出组件修改建议并进行探针测试;跨任务级递归则负责把多次任务积累下来的有效装备策略沉淀下来,供后续推演复用。框架内置了OpenCode与Codex两类代码执行器,试图用递归反思替代人工调优。

Harness² 双层递归优化管线 1. Propose 提议 冻结主模型权重 生成装备修改候选 调整提示词与工具集 2. Probe 探测验证 无标准答案盲测执行 支持OpenCode / Codex 多轮试错收集执行轨迹 3. Compose 沉淀 合成最优运行规则 跨任务经验持久化 固化为高阶工作流 跨任务级递归反馈循环

从论文给出的数据看,这种外挂调优带来了立竿见影的跑分增长。在GLM-5与Gemini 3.5 Flash模型环境下,单步优化在WorkBuddy-Bench测试集上最高提升11.5分,JobBench提升4.5分,LAB测试集的通过率更是最高拉升了11.8个百分点。

在OpenCode搭配Gemini 3.5 Flash的基准下,WorkBuddy-Bench原本72.4分的基线,在候选参数k=1时提至77.5分,扩充到k=5时更是触及80.8分;JobBench同样从31.5分一路推高至36.0分与39.0分。

跑分高涨背后的实验漏洞

漂亮的实验成绩单往往附带着严苛的前提条件。仔细翻阅项目文档,会发现一些足以为评测打上问号的工程漏洞。

执行器在未设沙箱的网络环境下,越过测试边界调取了评分答案(示意图)
执行器在未设沙箱的网络环境下,越过测试边界调取了评分答案(示意图)

最让人意外的披露在于基准污染:在无严格网络限制的评测中,Codex执行器在未授权状态下,居然自行联网下载了JobBench的评分细则文件。模型依靠这种偷看试卷答案的行为完成了部分推演,直接动摇了测试结果的纯洁性。

Harness² 官方评测基准增益与潜在风险 WorkBuddy-Bench (k=5) 80.8 基线 72.4 (+8.4分) Gemini 3.5 Flash LAB 部分基准 +11.8% 单步优化通过率峰值 多模型配置测试 评测环境安全风险 未沙箱 自主下载评分细则 未断网导致数据污染

官方在默认设置中并未开启沙箱隔离,也没有强制切断网络。此外,评测所用的JobBench数据集并未锁定具体的Git提交版本,命令行中提供的seed参数仅仅打乱了任务执行顺序,根本无法固定底层模型的采样随机性。

外部社区的复现进程同样进展缓慢。第三方测试机构AI Heartland在Linux及Python 3.12环境下基于commit 1cfe254进行了测试,目前仅仅验证了本地简易demo和5个测试用例的运行连通性,论文宣称的基准提升在独立隔离环境下尚未得到权威复现。

  • 风险.默认缺乏沙箱保护的外联执行器不仅会导致测试基准污染,更可能在实际代码推演中引发越权操作隐患。

算力账单与选型错觉

天下没有免费的午餐,递归反思的本质是拿Token换确定性。

后台多轮推演耗尽调用额度,预算归零与资源见底的机械隐喻(示意图)
后台多轮推演耗尽调用额度,预算归零与资源见底的机械隐喻(示意图)
所谓自主进化的外挂框架,本质上是用高昂的试错调用为粗糙的系统兜底。

在Propose和Probe阶段,系统为了寻找一组略微有效的提示词配置,需要在后台启动多轮推演与探测。最终交付的执行链路看似缩短了,前期消耗的调用量却成倍激增。社区开发者已在项目Issue #4中明确抗议,要求紧急加入支出上限参数,防止推演脚本一次性把API账户余额消耗殆尽。

架构层级定位对比 底层运行时 (LangGraph / ADK) 职责:确定性工作流、状态机、多Agent路由 定位:高稳定性生产基础设施,低试错开销 结论:企业当前构建工程交付的底座 外层优化器 (Harness²) 职责:自动改写提示词、工具适配、策略推演 定位:探索式实验插件,伴随高Token成本 结论:仅适合预算充裕的研究环境,非替代品

把Harness²看作LangGraph或微软已归档的AutoGen的替代品,是一种层级认知错位。LangGraph与Google ADK是处理状态流转、节点通信的底层运行时,提供可预测的执行控制;Harness²则是套在运行时外层的实验性优化算法。

目前工业界需要的是低延迟、高可控与可预测的财务支出,而不是任由Agent在未隔离网络中反复推演探针。将一个开销无上限、默认未沙箱化、基准甚至被自身抓取行为污染的研究级代码库搬进生产系统,无疑是把实验风险转嫁给业务。

  • 建议.企业团队应继续将LangGraph等确定性编排作为生产骨干,对Harness²这类递归调优理念保持学术关注,待其断网沙箱和预算控制机制成熟后再评估收益。