独立开发者 Sammy Straus 将自己开发了数年的资讯聚合器 sprinklz.io 发到 Hacker News，收获了大约一百个赞。然而真正的麻烦在几天后才浮现：社区热度退去后，网站没有变快，反而持续且严重地变慢。
排查 NGINX 日志后，他发现了一个反直觉的真相：拖垮单机源站的并不是社区涌入的真实读者，也不是正在抓取全网数据训练模型的硅谷大厂，而是一个占据了网站近半数流量的第三方服务。这家未命名的公司通过高频轮询探测页面变动，目的只是把内容塞进大语言模型，批量生产被称为 AI slop 的廉价快讯。
日志深处的寄生者
当开发者打开 NGINX 访问记录时，荒谬的图景立刻显现。大量非人类请求甚至从未执行页面里的 JavaScript 代码去真正加载资讯列表，它们只是机械地向源站发起每分钟数十次的 HTTP 请求，反复抓取那个空白的单页外壳。
在这张异常访问清单里，混杂着寻找 phpinfo 文件的 WordPress 漏洞扫描器，也夹杂着辨识度极高的科技巨头爬虫。但最致命的一击来自一条隐蔽的下游链条：某个自称能自动监控网页变动并输出 AI 摘要邮件的小工具，以接近分布式拒绝服务的频率死死咬住了服务器。
独立开发者的典型配置往往是一台几十元租金的单机 VPS。现代单页应用在没有配置 CDN 边缘拦截时，每一个未经缓存的请求都会直插源站，迅速吃满 CPU 算力。Sammy 最终通过添加 robots.txt 限制主流爬虫，在 NGINX 上部署严格限流并拉黑该 IP，才勉强平息了这场拥堵。
守序的巨头与失控的散兵
公众通常习惯把全网爬虫的泛滥归咎于大模型基础设施的贪婪。不可否认，AI 基础设施抓取数据的体量正在指数级上扬。
Cloudflare 2025年7月1日的数据显示，在其保护的站点中，GPTBot 的访问覆盖率达到 28.97%，ClaudeBot 达到 18.80%。2025年1月至7月间，全网 AI 训练爬虫流量在短短 6 个月内激增了 65%。在此期间的 AI 爬虫分类里，GPTBot 流量占比从 4.7% 提升至 11.7%，ClaudeBot 则从 6% 升至约 10%。而在 2026年8月7日至8日的 Cloudflare Radar 历史快照中，ClaudeBot 的流量份额达到 12.6%，GPTBot 占 8.2%。
然而，数据激增并不直接等同于源站过载。IMC 2025 的一项为期 6 个月的被动实验表明，主流厂商的爬虫具有清晰的行为边界：GPTBot 与 ClaudeBot 均遵守了 robots.txt 规则，Anthropic 的 ClaudeBot 甚至支持 Crawl-delay 抓取延迟指令。
真正失序的是大模型衍生出的下水道生态。OpenAI 和 Anthropic 为了应对实时网络搜索与智能体交互，早已将爬虫分类解耦：训练爬虫（GPTBot/ClaudeBot）、搜索索引（OAI-SearchBot/Claude-SearchBot）与代表终端用户实时发起的抓取（ChatGPT-User/Claude-User）使用着完全不同的标识。官方甚至公开注明，传统的 robots.txt 限制可能不适用于用户发起的实时交互。
规矩约束得了造飞机的巨头，却管不住满地捡零件的拆迁队。
在这一缝隙之中，无数为了拼凑信息差、自动化抓取内容再用大模型洗稿的无名套壳脚本，完全不遵守频率退避机制。它们既不承担训练基础模型的行业公约压力，也没有维护开发者生态的顾虑，以近乎蛮横的方式对整个网络展开竭泽而渔式的抽水。
绅士协议的终结与公地悲剧
互联网赖以运转数十年的 robots.txt，本质上从来不是防火墙，而是一张贴在门口的告示牌。它属于自愿遵守的自律协议，对缺乏道德约束的抓取方毫无强制力。
当全网的创业狂潮都在鼓吹自动化代理和全自动内容生产时，代价被悄悄转嫁给了最脆弱的基础设施。一个仅凭兴趣维护个人项目的独立站长，本想提供一个过滤 AI 噪音的干净阅读器，却在成名数日之内，被生产 AI 垃圾内容的机器打得几近宕机。这种剧情自带黑色幽默。
古人讲「君子防未然，不处嫌疑间；瓜田不纳履，李下不整冠」。但在没有法律与网络边界强行约束的数字丛林里，讲究体面退避的只有聚光灯下的巨头。下游创业者在生成式技术的放大镜下，将免费开放的源站视为取之不竭的露天矿场。如果任由无节制的自动化抓取持续透支小微网站的算力，开放互联网的唯一结局，就是所有独立站点被迫套上高门槛的认证盾牌或付费墙。
- 风险.如果个人站点不尽早在 CDN 边缘部署反向代理缓存与严格限流规则，单靠传统的 robots.txt 根本无法在自动化抓取浪潮中生存。
这场遭遇战给所有独立开发者上了一课：依靠自律维系的互信网络时代已经翻篇。与其期望吸血者展现节制，不如自备盔甲，在流量到达你的源站之前，把它彻底拒之门外。