Patreon 从 2026 年 7 月起，把拦截 AI 训练爬虫的方式从“请求”换成了“执行”。这家创作者会员制平台联手 Cloudflare，启用 AI Crawl Control，在服务器入口直接挡下用于模型训练的爬虫，不再只靠 robots.txt 里那句“请勿抓取”的自觉遵守。
Patreon 早在 2023 年就写过 robots.txt，但这次公司自己承认效果有限。据 Patreon 自述，测试中一个此前被识别出的 AI 训练爬虫，每周访问尝试量从数千次降到了零——这是官方给出的单一测试案例，不是全站数据，也没说能覆盖所有爬虫，但足以说明此前那份声明式的拒绝，挡不住真想抓的爬虫。
Patreon 做了什么：把拦截权收回到服务器
robots.txt 靠的是对方自觉。网站写清楚哪些页面不欢迎哪些爬虫，剩下全看对方配不配合。这套机制在搜索引擎时代管用，因为主流搜索公司有配合的商业动力。
AI 训练爬虫不一样。它们抓内容是为了喂模型，遵不遵守规则和公司利益直接冲突。Cloudflare 的 AI Crawl Control 把判断权从爬虫手里拿走：被识别为训练类的爬虫，请求会在服务器层面直接被拒绝，不需要它自己“选择”遵守。
| 对比维度 | robots.txt 时代 | AI Crawl Control（2026年7月起） |
|---|---|---|
| 拦截方式 | 声明式请求，靠对方自觉 | 服务器端直接拒绝 |
| Patreon 启用时间 | 2023 年 | 2026 年 7 月 |
| 实测效果（Patreon 自述） | 某爬虫每周数千次访问 | 同一爬虫降至零次 |
| 覆盖范围 | 理论上覆盖所有爬虫 | 仅训练类，已识别对象 |
这份数据由 Patreon 自己披露，测试范围和识别方法都没有公开细节。它能说明的是：这套机制对某个已识别的训练爬虫有效，不能说明它能挡住所有未被识别的抓取行为。
只挡训练，不挡导流：混合型爬虫最麻烦
Patreon 这次没有一刀切。公司明确表示，继续放行负责索引页面、组织信息、能把用户带回 Patreon 的爬虫——搜索引擎收录、AI 助手带链接引用，都不在拦截范围内。真正被挡的，是把内容整段吃进训练集、却不给创作者任何回报或署名的爬虫。
这条线不好划。Cloudflare 同期也在处理一类更麻烦的爬虫：既做索引又做训练的“混合型”爬虫，在带广告的页面上被默认拦截。一个爬虫到底算索引还是算训练，由谁来判定、判定标准是否公开，Patreon 和 Cloudflare 都没有交代。这是这套机制目前最不透明的地方。
技术拦截也不等于授权。挡住爬虫，不代表创作者因此拿到了逐项许可、分成或法律层面的完整保障，它只是把“要不要被训练”的决定权，从爬虫那边抢回来一部分。
对创作者和其他平台意味着什么
Patreon 最近改版了 Home Feed，还上线了类似推特短内容的 Quips，目的是让创作者被更多人发现。问题是，公开入口越大，暴露给爬虫的内容面也越大。付费墙挡住大部分正文，但首页动态和 Quips 这类公开片段，恰恰最容易被抓走。
依赖 Patreon 获客的创作者，现在能做的很具体：检查自己在 Home Feed 和 Quips 里公开了什么，决定哪些内容值得收窄可见范围，而不是默认全部公开换曝光。其他内容平台和出版商，要不要跟进 Cloudflare 的拦截或付费抓取，现在已经不是技术门槛，而是要不要牺牲一部分抓取流量、换取创作者信任的商业决定。
接下来值得盯的，是混合型爬虫的判定规则会不会公开，创作者能不能自己设置更细的拦截范围，以及会不会有新的爬虫绕开识别，把访问量重新做回数千次。