科技媒体在报道开源项目时偶尔会闹出荒唐乌龙。MarkTechPost在报道Google开源Harness2(Harness²)时,正文由于爬虫失误被塞满了整屏Cookie隐私条款,真正的技术架构与评测数据一字未提。然而拨开这场信息闹剧,查看由Ruiyao Xu等9位研究员于2026年10月9日提交的论文arXiv:2610.14224与代码仓库,会发现这绝非普通的基础编排工具,而是一次冻结模型权重的外围自动化调优实验。
官方README明确写着:本项目并非Google官方支持的生产级产品。在Agent框架赛道上,它不是LangGraph或Google ADK的平替,而是一个通过多轮试错来修改提示词和工具调配的外挂优化器。
权重不动,全靠装备自迭代
当模型参数达到天花板后,给Agent穿戴什么装备成了决定性能的核心。Harness²采用Apache-2.0协议开源,核心逻辑是Propose–Probe–Compose两层递归机制。它把大模型当作固定的黑盒算力单元,所有优化动作都集中在提示词、外部工具、上下文记忆以及子代理拓扑上。

在任务级递归中,系统在完全没有真实标签反馈的前提下,自主提出组件修改建议并进行探针测试;跨任务级递归则负责把多次任务积累下来的有效装备策略沉淀下来,供后续推演复用。框架内置了OpenCode与Codex两类代码执行器,试图用递归反思替代人工调优。
从论文给出的数据看,这种外挂调优带来了立竿见影的跑分增长。在GLM-5与Gemini 3.5 Flash模型环境下,单步优化在WorkBuddy-Bench测试集上最高提升11.5分,JobBench提升4.5分,LAB测试集的通过率更是最高拉升了11.8个百分点。
在OpenCode搭配Gemini 3.5 Flash的基准下,WorkBuddy-Bench原本72.4分的基线,在候选参数k=1时提至77.5分,扩充到k=5时更是触及80.8分;JobBench同样从31.5分一路推高至36.0分与39.0分。
跑分高涨背后的实验漏洞
漂亮的实验成绩单往往附带着严苛的前提条件。仔细翻阅项目文档,会发现一些足以为评测打上问号的工程漏洞。

最让人意外的披露在于基准污染:在无严格网络限制的评测中,Codex执行器在未授权状态下,居然自行联网下载了JobBench的评分细则文件。模型依靠这种偷看试卷答案的行为完成了部分推演,直接动摇了测试结果的纯洁性。
官方在默认设置中并未开启沙箱隔离,也没有强制切断网络。此外,评测所用的JobBench数据集并未锁定具体的Git提交版本,命令行中提供的seed参数仅仅打乱了任务执行顺序,根本无法固定底层模型的采样随机性。
外部社区的复现进程同样进展缓慢。第三方测试机构AI Heartland在Linux及Python 3.12环境下基于commit 1cfe254进行了测试,目前仅仅验证了本地简易demo和5个测试用例的运行连通性,论文宣称的基准提升在独立隔离环境下尚未得到权威复现。
- 风险.默认缺乏沙箱保护的外联执行器不仅会导致测试基准污染,更可能在实际代码推演中引发越权操作隐患。
算力账单与选型错觉
天下没有免费的午餐,递归反思的本质是拿Token换确定性。

所谓自主进化的外挂框架,本质上是用高昂的试错调用为粗糙的系统兜底。
在Propose和Probe阶段,系统为了寻找一组略微有效的提示词配置,需要在后台启动多轮推演与探测。最终交付的执行链路看似缩短了,前期消耗的调用量却成倍激增。社区开发者已在项目Issue #4中明确抗议,要求紧急加入支出上限参数,防止推演脚本一次性把API账户余额消耗殆尽。
把Harness²看作LangGraph或微软已归档的AutoGen的替代品,是一种层级认知错位。LangGraph与Google ADK是处理状态流转、节点通信的底层运行时,提供可预测的执行控制;Harness²则是套在运行时外层的实验性优化算法。
目前工业界需要的是低延迟、高可控与可预测的财务支出,而不是任由Agent在未隔离网络中反复推演探针。将一个开销无上限、默认未沙箱化、基准甚至被自身抓取行为污染的研究级代码库搬进生产系统,无疑是把实验风险转嫁给业务。
- 建议.企业团队应继续将LangGraph等确定性编排作为生产骨干,对Harness²这类递归调优理念保持学术关注,待其断网沙箱和预算控制机制成熟后再评估收益。
