让当下热门的通用图像大模型独立修图,在专业修图师眼里有将近一半的成品根本没法用。2026 年 10 月 29 日,Adobe Research 与加州大学圣地亚哥分校(UC San Diego)的 Haiyang Xu 等研究人员联合提交了论文《EditAgent: Rethinking Agentic Image Editing》(arXiv:2610.39664),提出名为 EditAgent 的图像编辑 AI 智能体系统。这套系统放弃了让单一通用模型反复重绘的做法,转而在每一步并行调用通用编辑器与 Photoshop 式的专用工具,再把局部放大图和光度测量数据喂给标准视觉语言模型,单次敲定最佳方案。

这组实验撕开了端到端生成式 AI 在专业工作流里的幻觉短板。过去两年,行业普遍迷信全能大模型能靠自然语言提示词包揽一切修改;Adobe 用实验证明,纯靠大模型凭感觉抽卡走不通,把确定性的传统修图算子变成大模型的武器库,不仅在技术上解决了可控性难题,更从底层逻辑上守住了自身在创意软件领域的护城河。

端到端模型近半数翻车,反复抽卡救不了像素级失真

在涵盖 30 种编辑类型的 600 组诊断基准测试中,5 名专业 Photoshop 修图师对结果进行了盲测。结果显示,通用编辑器 Flux-2-Klein-9B 在 256 组测试中未能生成可用结果,失败率达 42.7%。当研究人员引入蒙版编辑、移除、移动、光度调整、几何变换和缩放这 6 类专用工具后,成功挽救了其中 175 组失败案例,解决了约三分之二的死局。

纯靠大模型凭感觉抽卡走不通,引入六类专用工具才能挽救死局(示意图)
纯靠大模型凭感觉抽卡走不通,引入六类专用工具才能挽救死局(示意图)

通用大模型在旋转、缩放或温和提亮这类确定性任务上极易翻车。比如要求稍微提亮一张暗调静物照,通用编辑器往往会直接导致画面过曝且色温偏暖,而光度算子能严格把数值控制在合理范围内。许多模型厂商比如 Black Forest Labs 仍在继续迭代端到端模型,推出了仅 56 亿参数的 Flux 3 Image Klein,在内部测试中甚至击败了商业版的 Flux 2 Pro;但至少在复杂修图指令面前,单靠堆叠通用模型调用次数依然效果有限。

论文中的消融实验直接打破了靠算力抽卡出奇迹的幻想。在 EdiVal 第 3 轮基准测试中,基于 Qwen-Image-Edit-2511 骨干网络独立运行得分为 47.64,基础智能体为 49.43;如果去掉工具多样性,单纯并行复制 2 个、4 个甚至 8 个通用编辑器副本去抽卡,得分只有 47.53、48.90 和 49.01。相反,只要给系统接入专用工具池,得分就会跃升至 52.37,叠加并行对比和验证记录后最终达到 55.46。

EdiVal 第 3 轮消融实验:堆通用模型副本 vs 引入专用工具链 Qwen 独立运行 47.64 8 个通用模型并行 49.01(抽卡上限) 接入 6 类专用工具 52.37 叠加并行搜索策略 53.18 完整 EditAgent 55.46 注:测试基于 Qwen-Image-Edit-2511 骨干网络;搭配 FLUX.2-klein-9B 时得分为 59.45(独立运行 53.20)

除了工具选型,传统智能体的串联迭代策略也在制造画质灾难。以往的修图 Agent 在单步失败时,习惯在已经修改过的图像上反复重绘,微小伪影和画质劣化会像滚雪球一样累积。EditAgent 改为每一步都回溯原图、用不同工具并行生成候选图。在最多生成 4 张图的对比测试中,除去 14 组平局,专业修图师在 130 组有明确偏好的样本里,有 102 组投给了并行策略,胜率达到 78.5%;而且并行搜索最多只需调用 2 次裁判模型,比串联模式的 4 次少了一半。

系统还在每轮修改后加入了历史冲突检查。比如第一轮指令把浴室窗户改成了磨砂玻璃,第二轮要求增加自然光时,模型往往会自作主张把窗户变回透明;EditAgent 的后置检查能捕捉到这种倒退并自动修复,从而在 EdiVal 第 3 轮测试中一举击败了 MIRA、IMAGAgent、EditThinker、GenArtist、VisionDirector-TF 和 RISE-Agent 等基线智能体,甚至微弱反超了字节跳动的 Seedream 4.0 与 OpenAI 的 GPT-Image-1.5。

给普通大模型递一把尺子,胜过训练百亿参数的微调裁判

解决了怎么修图,还要解决怎么挑图。现有的多模态智能体通常让另一个视觉大模型直接看整张图来打分,哪怕是专门用人类偏好数据微调出来的裁判模型,面对像素级的局部模糊、轻微色偏或格子衬衫纹路错乱也经常漏判。

给标准大模型附上局部放大图、变更映射和色彩数据三项硬证据
给标准大模型附上局部放大图、变更映射和色彩数据三项硬证据

EditAgent 没有去训练新的裁判模型,而是直接重构了输入给大模型的观测空间。系统在把候选图交给标准视觉大模型之前,会先附上一份包含三项硬指标的验证记录:编辑区域的局部放大图、变更区域映射图,以及亮度和色彩的实测统计数据。

大模型看到什么证据,远比怎么微调它的权重更重要。

实验数据证实了这一工程范式的转变。在没有验证记录辅助时,受测的 7 个标准语言模型全都败给了专门微调的评估模型;一旦喂入验证记录,全部 7 个标准模型悉数反超。未经专门微调的 Qwen3.8-27B,其诊断 Hit@1 准确率从单点评估的 71.6%、列表评估的 73.6%,在加入验证证据后直接跃升至 81.3%(Qwen3.8-Flash-Next 更是达到 82.8%),击败了参数量近乎三倍的微调裁判模型 EditScore-72B(74.8%)以及 EditReward。

视觉裁判的逆袭:结构化验证证据如何击败 72B 微调模型 传统微调裁判(肉眼看整图) 代表模型:EditScore-72B 方式:靠人类偏好数据重度微调权重 盲区:漏判局部纹理伪影与轻微过曝 74.8% 可用选择率 EditAgent 裁判(带实测体检报告) 代表模型:Qwen3.8-27B(未微调) 输入:局部放大图 + 变更掩码 + 光度数据 最高表现:Qwen3.8-Flash-Next 达 82.8% 81.3% 可用选择率
  • 结论.对于多模态 Agent 开发者而言,与其耗费巨资去收集偏好数据微调百亿参数的 Reward Model,不如把精力放在视觉上下文工程上,用传统计算机视觉算子把图像变化翻译成大模型看得懂的局部切片和统计数字。

十倍延迟与一成死角,实验室高分离商业软件还有多远

剥开亮眼的跑分,这套架构想要真正塞进商业软件,还横亘着不小的工程鸿沟。最直接的障碍是算力与延迟:由于每一步都要并行调起多个模型与工具,还要生成测量报告,EditAgent 的整体推理耗时是单个独立编辑模型的约 10 倍。

系统作为离线工厂筛除一成死角样本,合成两万六千个高纯度数据(示意图)
系统作为离线工厂筛除一成死角样本,合成两万六千个高纯度数据(示意图)

对于分秒必争的商业修图师来说,每改一步都要等上十倍的时间,显然无法满足实时交互的需求。研究团队给出的折中方案是把 EditAgent 当作离线数据合成工厂。因为系统只保留通过验证的结果,研究人员用它产出了约 26,000 个训练样本;用这批高纯度数据微调出来的轻量编辑器,在三个基准测试中表现全面提升,而直接用 FLUX 自身生成数据去微调 FLUX 反而会导致画质倒退。

评估维度表面宣传口径论文深层边界与代价
裁判模型命中率Qwen3.8-27B 达 81.3%仅在 515 组中统计,剔除了 81 组全败样本与 4 组缺失记录
并行搜索胜率78.5% 获专业人士青睐130 组非平局中 102:28 胜出,剔除了 14 组平局
运行效率代价裁判调用次数减半(2次 vs 4次)整体推理耗时约为独立编辑模型的 10 倍

仔细拆解论文的统计前提,还能看到生成式修图目前无法逾越的能力边界。前文提到的 81.3% 裁判准确率,实际上只计算了 600 组测试中的 515 组——因为有 81 组样本(占比 13.5%)无论调用通用大模型还是专用工具全都全军覆没,根本没生成任何可用候选图,另有 4 组缺失验证记录。此外,5 名修图师提供的是协商后的共识标签,并未检验独立标注者之间的一致性,程序化的数值验证也只能保证指标合规,无法完全替代人类对画面语义的最终审美。

  • 风险.截至 2026 年 11 月 1 日,论文及 Hugging Face 页面均未提供官方开源代码库,仅在附录披露了提示词与算法配置,外部团队复现与验证这套管线的真实成本依然偏高。

Adobe 早在今年 6 月就已经将 AI 智能体以公开测试版的形式塞进了 Photoshop 和 Premiere 等 Creative Cloud 核心应用,允许用户用自然语言下达修图指令。EditAgent 的出现,为这些商业助手指明了下一步的演进方向:与其和开源社区死磕单个扩散模型的参数规模,不如把 Photoshop 积攒了几十年的图层、蒙版和光度算子封装成 AI 的标准工具箱。接下来最值得盯紧的变量,是 Adobe 能否通过模型蒸馏或底层算子加速,把那 10 倍的推理延迟压缩到专业用户愿意买单的秒级响应之内。