2026 年 10 月 30 日，OpenAI、Anthropic、Google 与 Microsoft 罕见地在同日表态，宣布支持在网站 robots.txt 文件中引入一项共享信号，让网站运营者用一行规则就能同时向多家 AI 公司声明内容是否可用于生成式模型训练。表面看，站长终于不必在配置文件里维护几十个五花八门的专有爬虫名字了；但拆开底层技术草案就会发现，这并不是一份已经获批的国际标准，而是一道只管模型参数训练、不拦数据抓取、还漏掉了实时检索（RAG）的温柔防线。
对急于保护版权的内容方而言，这项由 Anthropic 员工 Kevin Kelley 于同日刚刚提交给互联网工程任务组（IETF）的 00 号个人草案（draft-kelley-aipref-training-preference-signal-00），远没有通稿里写得那样省心。Anthropic 已开始实施该信号，OpenAI 计划在未来几个月内上线，Google 则把支持时间排到了 2027 年。在看似统一的时间表背后，几家大模型公司用极其精准的技术定义，保住了各自最核心的数据通道。
双下划线里的三个技术陷阱：禁了训练，爬虫照样抓走网页
这套新机制没有发明新的协议指令，而是复用现有的 robots.txt 语法，引入了一个带双下划线的策略令牌 User-Agent: __usage_ai-training，配合常规的 Allow 或 Disallow 路径规则来声明训练偏好。但网站管理员如果只看新闻通稿就去改配置，极容易踩空三个反直觉的技术规则。
- **提醒.旧有的全站拦截通配符
User-Agent:对这个新信号完全无效，站长必须显式写出完整的双下划线令牌名，否则等同于默认允许训练。*
更核心的落差在于，草案明确将训练偏好与爬虫访问权限拆开：写下禁止训练规则，并不阻止 AI 爬虫把你的网页抓走。它只代表网站表达了不希望内容被用于修改生成式模型学习参数的意愿，至于纯非生成式的分类、排序和打分，则根本不在禁止范围内。
同时，IETF 的 AI 偏好工作组（AIPREF）在章程里早就划清了边界：工作组排除技术强制执行与训练审计，合规性与法律合同义务均不在规范范围内。正如美国新闻媒体联盟（News/Media Alliance）早在 2023 年向美国版权局提交的文件中所批评的，这类自愿性信号既无法追溯已经喂给模型的历史数据，也防不住 AI 公司通过第三方转手数据集绕过限制，本质上依然是把手动选择退出的运维负担推给了出版商。
甚至连这道君子协定本身都留了后门。草案规定，AI 供应商自家的专有爬虫令牌优先级可以高于这个共享令牌，且私人商业协议可直接覆盖公开信号。这意味着大型新闻集团可以在公开的 robots.txt 里一键拉黑所有 AI 训练以维持姿态，转头在私下继续向 OpenAI 们高价售卖数据授权；真正指望靠一行代码护住内容的中小站长，拿到的只是一张没有审计能力的口头承诺。
避开 RAG 检索与曝光捆绑：为什么 Cloudflare 另起炉灶
如果把四大 AI 厂商力推的这套个人草案，与网络基础设施厂商 Cloudflare 正在实际部署的方案放在一起对比，就能看清大模型公司真正避重就轻的地方。
虽然包括 AIPREF 工作组主席 Mark Nottingham 在内的多位 Cloudflare 人员出现在这份 00 号草案的致谢名单中，但 Cloudflare 并未承诺实施该令牌。Cloudflare 自己在推的是另一套 Content-Signal: search=yes, ai-train=no 机制，它与巨头草案最本质的区别，是单独拆分出了代表推理检索与检索增强生成（RAG）的 ai-input 参数。
今天对媒体和内容网站杀伤力最大的，早已不是两年才训一次的基础模型预训练，而是 AI 搜索引擎在用户提问瞬间抓走最新文章、直接生成答案并截流点击的 RAG 实时输入。四大 AI 厂商齐声叫好的 __usage_ai-training 信号，恰恰把管辖范围死死焊在修改模型参数上，对 RAG 实时抽血只字未提。
只给预训练上锁、对实时检索敞开大门，是这场标准妥协的真正底牌。
更棘手的捆绑藏在 Google 同日公布的实施细则里。Google 明确表示，在 2027 年支持该信号后，如果网站没有单独配置 Google 专有的 Google-Extended 规则，而是直接用这个共享令牌禁止 AI 训练，Google 就会将其视同为一并禁止 Google-Extended。而在 Google 的体系中，是否允许 Google-Extended 直接关系到网站内容能否在 Gemini 应用中用于 Grounding（检索接地）。
这就把中小站长逼进了一个二选一的死角：想用这个统一的共享信号阻止模型拿你的文章去训练，你的网页就会在 Gemini 的实时回答引用里被连带降权甚至抹除；想保住 AI 时代的曝光入口，就得把专有令牌和共享令牌拆开做精细配置，所谓的“一行代码减轻站长负担”当场破功。
- **结论.在 OpenAI 未来几个月公布具体落地细则前，网站运营者切勿删掉现有的 GPTBot 等专有拦截规则，接下来最该紧盯的是 OpenAI 是否也会效仿 Google，将这个纯训练信号与 ChatGPT 搜索的实时引用资格变相挂钩。**