让 AI 帮自己订一张机票、自动买下购物清单里的商品，是许多实验室在演示 Autonomous Agent 时描绘的美好图景。但现实是，这扇门正在被全球主流网站齐齐关上。
达美航空已切断 AI 代理的实时出票流程，摩根大通与嘉信理财禁止自动化工具触碰账户资金，Yelp 则明确表示只有付费购买数据许可的代理才能入场。从二手车平台 Cars.com 到客运铁路 Amtrak，越来越多日常服务在悄无声息间对自主代理竖起高墙。当硅谷巨头试图把网页降级为 AI 的执行后台时，原生地盘的掌控者们选择了直接拔网线。
协议破产：从防爬虫到防代理
许多人以为网站封堵 AI 只是出版商在抗议训练语料侵权，这低估了眼下这场冲突的烈度。
矛盾已经从离线训练转移到了实时交互层。在 2026 年 9 月 28 日对全球前 10,000 个顶级域名中 4,242 个已解析 robots.txt 文件的统计中，GPTBot 被 520 个文件列入 Disallow 指令，占比达 12.3%；ClaudeBot 被 446 个站点排除，占比 10.5%。即便针对完全封禁全站的极度严格指令，GPTBot 和 ClaudeBot 的遭遇比例也分别达到了 8.11% 与 6.91%。
更说明问题的是用于即时抓取和代客访问的标记：代表用户即时触发的 ChatGPT-User 已被 315 个站点列入 Disallow，占比达到 7.4%。截至 2026 年 10 月 5 日，Cloudflare Radar 监测显示这类记录代表着网站主观表达的准入规则，并不等同于最终被软硬件防火墙放行的数据。
诞生三十年的 robots.txt 协议，本质上是一份建立在自愿遵守基础上的君子协定。天下熙熙，皆为利来。当 AI 只是爬走旧文本时，纠纷还在版权法边缘拉扯；而当 AI 代理开始代替真人点击、跳转并直接拿走最终结果时，既有商业模式的地基被直接抽走了。
利益清算：广告与闭环的生死局
商业网站构筑防御的核心逻辑十分直白：AI 代理不看广告，也不产生连带消费。
传统互联网商业高度依赖一条完整的转化链路：展示横幅广告、引导页面停留、记录用户点击流、通过推荐算法制造偶发购买，以及依靠电商联盟分佣获利。一旦 Perplexity Comet 或整合了 Operator 的 ChatGPT agent 代替用户访问，它只会精准提取商品价格与购买链接。它既不加载广告脚本，也不看相关推荐，更不会在信息流里分心。
AI 代理不是省去了操作步骤，而是把网站赖以生存的流量变现环节彻底蒸发。
亚马逊去年就对 Perplexity 的代客购物功能下达逐客令，甚至闹上法庭。尽管埃隆·马斯克在 xAI 的 Grok 同样遭到亚马逊拦截后宣称要自建电商竞争，但 Meta 等公司选择妥协，通过与沃尔玛、Gap、丝芙兰等品牌建立官方零售合作，试图以合规联盟的方式为 Muse 敲开大门。Shopify 也开放了旗下店铺目录，试图通过标准化接口收编这部分需求。但这改变不了大势：免费开放的网页浏览，正在被平台改造成昂贵的特许准入。
防火墙后的猫鼠游戏与法律真空
当声明层协议失效，博弈迅速沦为网络基建级别的物理对抗。
Cloudflare 于 2026 年 9 月 15 日面向新站点推出了极具代表性的推荐配置：允许常规搜索引擎抓取，禁止 AI 语料爬虫，并在所有投放广告的页面上对 AI 代理实施硬阻断。早在 2025 年 8 月，Cloudflare 就曾抓包披露 Perplexity 通过伪装 Chrome 请求头指纹、频繁轮换 IP 池以及挂载第三方无头浏览器的方式绕过防火墙拦截；Perplexity 则坚称用户发起的单次即时查询与大规模爬取训练有本质差异。
这种技术对抗暴露出法理界定与工程现实之间的严重断层。2026 年 8 月 4 日，美国第九巡回上诉法院撤销了亚马逊对 Perplexity Comet 代理申请的初步禁令，法官倾向于认同用户将 AI 作为工具访问属于代理行为，亚马逊在计算机越权访问的诉由上胜算不足。
但法律没有强令网站拆除防火墙。赢了官司的 AI 公司依然要面对无法穿透的验证码、设备指纹黑名单以及账号封禁。Reddit 虽然早在 2024 年 5 月就与 OpenAI 签署了数据授权协议，但这套授权只涵盖训练 API，绝不包含允许 AI 代理在其平台自动化模拟登录与发帖回帖的特权。OpenAI 也不得不在其虚拟浏览器和 ChatGPT agent 连接器底层建立域名黑名单，甚至向企业管理端提供主动配置屏蔽域名的开关。
- 风险.AI 代理对网页界面的强行穿透，不仅在摧毁广告支撑的免费内容体系，更会导致网络安全策略全面收紧，普通用户日常访问时的验证门槛将被大幅推高。
城门一旦关上，就不会再轻易打开。当巨头们把一切网页交互退化为 API 授权谈判时，那个允许任何人带着浏览器自由漫游的开放网络，其实已经提前宣告终结了。