开源技术布道者 Simon Willison 在 2026 年 9 月 26 日公开了一段演示制作细节。为了给 WeAreDevelopers 北美峰会的闭幕演讲制造记忆锚点,他将 3 张鸟类搜索照片投给 Anthropic 最新的 Claude Opus 5.5,单次提示词就生成了包含至少 20 只跳跃像素鸟和五彩纸屑效果的 HTML5 Canvas 网页。随后,他让本地命令行工具 Claude Code 编写了一段仅依赖 Playwright 的轻量 Python 脚本,以 1280x720 视口自动完成定时点击并录制成 15 秒视频,直接嵌入幻灯片播放。

表面上看,这只是技术演讲者筹备 PPT 终页的日常花絮,背后却折射出大模型工程化落地路线的深刻分化。当整个行业还在痴迷于让智能体通过多模态截屏、模拟肉眼和光标去扮演人类操作界面时,真正追求交付效率的一线工程师,已经开始让 AI 退回幕后,直接输出确定性的自动化测试脚本。

像素画背后的物种繁育与单文件交付

Simon Willison 在演讲中选择的核心意象是新西兰极危物种鸮鹦鹉(Kākāpō)。新西兰自然保护部(DOC)在 2026 年 9 月 1 日通报,官方鸮鹦鹉总数达到创纪录的 325只。在这场始于 1995 年、基准种群仅有 51只 的漫长保育工程中,2026 年繁殖季有 90只 幼鸟成功存活至 150 天独立里程碑并计入官方种群。相比该保育计划早期历时 16 年才凑足同等幼鸟数量,今年创下了单季历史最高纪录。

这种种群复苏的戏剧性数字,需要极具视觉感染力的方式呈现在技术峰会大屏幕上。Willison 没有选择调动笨重的商业设计软件,而是直接把图片丢给了具备 1M token 上下文窗口与 128K token 最大输出的 Claude Opus 5.5。模型凭借文本与图像的多模态输入能力,一次性在单一 HTML 文件内用 Canvas 绘图 API 完成了 20 多只像素鸮鹦鹉的骨骼动作分解与彩带粒子系统。

新西兰鸮鹦鹉保育恢复里程碑与繁育跨度 1995年保育初始 51 只 濒危绝地启动恢复工程 2026单季独立幼鸟 90 只 早期需历时16年积累 2026年9月官方总数 325 只 创官方种群历史新高

虽然该繁殖季早期 DOC 曾记录到 187 枚鸟蛋与 74 枚受精卵,但因不同阶段统计口径差异,官方通报中并未提供整季的总体百分比存活率。外界不需要强行拼凑数据口径,真正打动观众的,是纯前端代码把这一物种转危为安的生命力瞬间化为了灵动的像素跳跃。

绕过视觉代打:确定性脚本的降维打击

拿到令人惊艳的 Canvas 页面后,真正棘手的工程环节才刚开始:Keynote 无法直接嵌入并播放带有复杂交互逻辑的本地 HTML5 页面,必须转成高清晰度的 MP4 视频。

在常规的自动化讨论中,许多开发者第一反应往往是启用视觉代理或基于 MCP 协议的浏览器接管工具,让大模型一帧帧看着屏幕、实时把控鼠标、寻找点击位置。但在技术原理上,HTML5 Canvas 在 DOM 树中只是一个完全不透明的像素画布,没有无障碍属性,也没有任何可供选择器定位的子节点,是典型的自动化黑盒。

Simon Willison 没有让 Claude Code 去扮演模拟人类视线的操作员,而是直接下达需求,让它生成一段独立且无状态的 Playwright 自动化脚本。

大模型驱动浏览器自动化的两条工程路径 视觉代理模式 (Browser Use) 连续多轮截图上传多模态大模型 Token消耗巨大,Canvas黑盒定位脆弱 执行易受网络延迟与偶发识别漂移干扰 脚本生成模式 (Playwright Codegen) 本地模型单次输出确定性Python脚本 绝对时间戳排程,原生录制无头视频 高复现率,Token消耗与系统开销降至极限

Playwright 原生支持无头浏览器层面的 Canvas 绝对坐标点击和视频录制流输出。Claude Code 写出的 Python 脚本仅有十几行:启动 Chromium、固定视口为 1280x720、按设定好的时间数组向画布分散抛出点击以引发纸屑特效、录制满 15 秒后优雅关闭上下文保存视频。

能够写出确定性脚本的智能体,永远不需要在运行时向云端汇报每一次鼠标拖动。

让模型编写代码调度底层工具,其执行确定性与计算成本远胜于在多模态管道里来回折腾截屏。开发者社区近期的工程反馈也印证了这一点:相较于让智能体通过长轮次 MCP 工具调用死磕上下文,直接让模型产出一段无状态测试脚本在本地沙盒静默跑通,才是 Token 经济性与任务可靠性的最优平衡。


临时交付的敏捷度与生产级陷阱

这套由 Claude Opus 5.5 和本地 Claude Code 组合而成的流水线,展示了单人研发交付的惊人生产力。从几张参考鸟图到一段可直接用于大型技术会议压轴环节的高清视频,整个过程甚至不需要离开终端和编辑器,耗时仅数分钟。对于需要快速制作原型、验证动态概念或自制多媒体素材的独立开发者而言,这一工作流极大压低了交付门槛。

但在肯定其敏捷性的同时,不能忽视该方案本身的局限性。这段脚本之所以成立,是因为它处于一个完全静态的单机受控环境。

  • 风险.硬编码的坐标数组与绝对时间等待,在动态生产环境中极度脆弱;画布尺寸一旦变动或渲染帧率出现抖动,机械点击就会全盘失效,必须配合状态钩子才能进工程流水线。

在复杂工业软件中,面对无 DOM 结构的 Canvas 画布,依然必须依赖显式的测试打桩、自动化协议桥接或暴露调试接口。把用于现场应急或素材生成的脚本范式直接搬进生产集成流水线,只会放大测试用例的脆弱性。

Simon Willison 的这次尝试提供了一个极具代表性的样本:大模型在软件工程中的角色,正在从机械的行内自动补全,演变为能够把零散开源组件快速捏合成生产力闭环的胶水生成器。它不代表企业级复杂系统可以彻底告别严谨架构,但它明确指出了个人开发者的效率上限被推到了何种境地。