Cloudflare宣布,从2026年9月15日起,凡是同时被用于搜索、AI训练和AI agent抓取的"混用型"爬虫,只要目标页面挂着广告,默认就会被挡在门外,除非网站主动放行。听起来像一次不起眼的默认值调整,实质是Cloudflare借着自己在全球网络基础设施里的位置,替出版商向AI公司要账。
这是Cloudflare第二次出手改写AI与内容行业的力量对比。去年推出Pay Per Crawl市场,解决的是"要不要让抓";这次直接升级到"抓了要不要分开算账"。
默认值改的是谁,不是所有人
新规适用于新客户、现有客户新建的站点,以及所有免费版网站;已有的付费客户暂时不受影响,除非自己主动调整设置。
这意味着真正被推着改变行为的,是图省事的AI创业公司和还没跟平台谈过特殊条款的中小网站主。像新闻集团、Axel Springer这类过去两年陆续和OpenAI、微软谈妥内容授权费的头部出版商,谈判筹码本来就不靠Cloudflare的默认设置,这次改动对他们影响有限。
矛头对着Google的"一鱼两吃"
Cloudflare公告里说"全球最大搜索引擎"拿到的内容量是其他AI公司的两倍,没点名,但明显指Google。Googlebot同时服务搜索排名和AI Overviews、AI Mode这些生成式功能,网站想被搜索收录,几乎没法把这部分流量单独挡掉。Google的公开说法是,自己提供了可单独关闭训练权限的Google-Extended爬虫,不影响搜索收录——但那只解决了训练数据的问题,Googlebot用于AI Overviews的抓取依然混在搜索流量里,没法细分。
| 对象 | 默认规则变化 | 现实影响 |
|---|---|---|
| 免费版/新客户网站 | 混用爬虫默认被挡 | AI公司必须拆分爬虫身份或谈付费 |
| 现有付费客户 | 维持原设置,可手动调整 | 短期不受影响,议价筹码仍在自己手里 |
| Googlebot(搜索+AI Overviews混用) | 不拆分同样落入被挡范围 | Cloudflare借此挑战Google的"两吃"模式 |
| Pay Per Crawl→Pay Per Use | 从"按抓取次数"变"按内容产生价值"计费 | 首批只接入Ceramic.ai、You.com,规模有限 |
付费机制升级了,但盘子还很小
去年的Pay Per Crawl让网站按抓取次数收费,这次进一步升级为"Pay Per Use"——按内容实际产生的价值计费。首批合作方是Ceramic.ai和You.com:网站内容出现在Ceramic的AI搜索结果里,或被You.com访问付费内容时才计费。Cloudflare自己的数据显示,超过一半的AI爬虫流量花在重复抓取没变化的页面上,这套机制顺带也省了出版商的带宽。
解决的是出版商最烦的两件事——白嫖和资源浪费,但目前只有两家合作方,离行业标准还远。真正决定这套机制能不能推开的,不是技术设计,是有没有更多量级公司愿意走付费接口,而不是绕开Cloudflare抓别的路径。