全网流量在2026年6月迎来分水岭:自动化机器人流量正式突破50%,彻底反超真实人类访问。面对这一剧变,全球网络基础设施巨头Cloudflare交出了两张截然相反的答卷。对外,首席执行官 Matthew Prince 奔走呼吁重构互联网商业模式,主张将死去的广告换点击机制升级为按爬取付费;对内,这家公司却在录得创纪录营收与强劲现金流的同时,闪电裁撤超1100名员工。

这不是一场单纯的技术应对,而是一场极其精密的商业套利。Cloudflare一边将自身包装为对抗AI吸血鬼、拯救开放网络的规则制定者,一边把AI当成激进拉升人均利润率的公关遮羞布。

反常裁员:利润纪录下的度量者清洗

2026年5月7日,Cloudflare官方宣布裁减超过1100个工作岗位,约占公司员工总数的20%。管理层在公告中将此定性为向Agentic AI-first运营模式的主动转型,并给出了一个极具冲击力的指标:公司内部AI工具使用量在短短3个月内激增超过600%。

创纪录营收下,负责合规与风控的度量者被推入淘汰边缘(示意图)
创纪录营收下,负责合规与风控的度量者被推入淘汰边缘(示意图)

然而,这并非硅谷常见的因业务收缩而断臂求生。裁员发生时,Cloudflare刚刚录得创纪录的营收增长与充沛的自由现金流,官方甚至明确表态将继续在核心工程研发和直面客户的销售线上积极招人。两周后,Matthew Prince 在《华尔街日报》发表署名专栏《我如何选择用AI替代哪些Cloudflare员工》,直截了当地将公司劳动力划分为三类:负责写代码与搭系统的构建者(Builders)、负责签单变现的销售者(Sellers),以及负责日常运营、财务、合规与跨部门协调的度量者(Measurers)。

在 Prince 的逻辑里,AI正在端到端接管流程性事务,度量者成了组织内多余的摩擦成本。但技术社区与留存员工的感受截然不同:被剔除的合规、风控与客户支持并非无谓的度量,而是守护网络基础设施容错率的防线。管理层借技术不可避免论掩盖了做高人均产值的财务目的,将潜在的安全与监管风险全盘转嫁给了底层系统。

Cloudflare 组织清洗逻辑:三类角色的价值重估 构建者 Builders 研发、核心架构师 继续扩张 输出核心软件生产力 维持边缘节点代码敏捷 AI辅助写代码而非替代 销售者 Sellers 大客户线、前线商务 重点招揽 锁定企业级防御订单 人际信任与合同攻坚 直接驱动创纪录现金流 度量者 Measurers 运营、财务、合规风控 裁减 20% 被定性为组织内部摩擦 三月内AI用量暴涨600% 人为审计与审核防线失守

38,000比1:开放网络契约的彻底崩塌

让 Cloudflare 下决心改变业务定位的真正原因,在于它所依附的公域互联网正在失去活人。

爬虫每抓取3.8万次网页,仅为出版商换回1次真实点击(示意图)
爬虫每抓取3.8万次网页,仅为出版商换回1次真实点击(示意图)

过去三十年,内容出版商、搜索引擎与基础设施服务商之间存在一项心照不宣的默契:爬虫抓取内容建立索引,作为交换,搜索引擎将对信息感兴趣的人类用户导流回原始网页;网站凭借这些真实曝光换取广告展现或付费订阅,形成持续生产内容的动力。

生成式AI直接扼杀了这个循环。2025年1月至3月,Google向新闻类出版商网站提供的外部引流点击量下滑了约9%。AI Overview与回答引擎直接在结果页给出总结,用户不再点击来源。

极端失衡:AI 爬虫抓取量与引流点击产出 Anthropic 爬虫投入产出比 38,000 : 1 抓取 38,000 次页面内容 仅为源网站换回 1 次真实引流访问 结论:几乎纯粹的内容消耗 Perplexity 爬虫投入产出比 194 : 1 抓取 194 次页面内容 为源网站换回 1 次实际推荐引流 对比:虽然高于前者,传统飞轮仍已停转

更为惊人的是爬虫与点击的严重失衡。Cloudflare在2025年7月的实测数据显示,Anthropic的爬虫每为出版商带来1次实际访问推荐,必须先进行整整38,000次抓取;即便以即时搜索见长的Perplexity,带来1次点击也需要爬取约194次。

爬虫不再是引路人,而是直接在源头收割庄稼的收割机。

面对这种吞噬服务器带宽却毫无商业回报的寄生关系,内容网站若继续维持纯公开状态,无异于为AI军备竞赛单方面承担电力与算力账单。


守门人变身:按爬取付费能否救活出版商?

掌握着全球350多个城市、数千个数据中心节点的 Cloudflare,敏锐地嗅到了从网络安保跃迁为商业海关的机遇。

基础设施巨头设立爬取付费关卡,却无法挽回流失的人类读者(示意图)
基础设施巨头设立爬取付费关卡,却无法挽回流失的人类读者(示意图)

公司迅速调整产品策略,上线了细粒度的爬虫管理工具:严格区分用于通用搜索引擎索引的爬虫与纯粹用于AI训练及实时推理的抓取程序。网站站长不再只有全盘放行或一刀切拉黑两种极端选择,他们可以针对AI公司单独设立准入门槛,甚至接入正在探索中的按爬取付费方案。

Cloudflare 流量仲裁与计费管线 全网混合流量 真人访问 Bot超 50% 边缘节点识别 区分搜索引擎 定位 AI 训练爬虫 站长策略控制 自由阻断模型 开启按次收费 商业新闭环 爬虫付费入场 平台抽成过路税

这套设想试图重现互联网早期的402 Payment Required协议,让抓取每一次网页都变成一次微交易。但对媒体与独立创作者而言,这远非免死金牌。

  • 风险.爬虫给出的微量补偿金,根本无法抵扣人类读者离开所造成的系统性损失。失去真人的直接访问,意味着广告展示、品牌忠诚度、付费会员转化以及至关重要的第一方用户行为数据统统归零。

当网站降级为纯粹给大模型喂料的机房接口,互联网将不可避免地陷入数字封建时代。在这一图景中,最先建立收费关卡的基础设施提供商坐稳了抽成新地主的位置,而被其许诺拯救的内容生产界,拿到的大概率只是一张残羹冷炙的兑换券。