7.9
深览指数
科技虎嗅·极客公园··AI 生成
赛博菩萨Cloudflare，AI爬虫最严厉的父亲
Cloudflare 宣布从 2025 年 9 月起，默认屏蔽所有针对广告页面的 AI 训练与 Agent 爬虫，并首次将爬虫分为搜索、代理、训练三类，允许网站主独立控制。此举实质是将互联网数据获取的博弈从「默认允许」翻转为「默认禁止」，打破了 Google 等巨头搜索与 AI 训练混绑的数据收集模式。文章深入分析了 Cloudflare 从「基础设施保安」向「AI 内容税收站」转型的商业逻辑，同时点出小创作者可能无法获益、平台自身爬虫引发不信任等局限。适合关注 AI 产业、网络政策与内容商业化的深度读者。」,原文 ↗
核心观点
- ▍Cloudflare 正从网络基础设施的「保安」转变为 AI 时代的内容交易「收银员」，通过重新定义爬虫分类与默认规则，建立以自身为枢纽的 AI 数据收费体系。
- 01Cloudflare 将 AI 爬虫分为「Search」「Agent」「Training」三类，网站主可分别设置权限，且执行「最严规则优先」原则，打破了 Googlebot 搜索与 AI 训练混绑的模式。
- 02爬虫与回流比数据：Google 为 14:1（爬取 14 页回流 1 次点击），OpenAI 为 1,700:1，Anthropic 高达 73,000:1，传统搜索引擎时代的「流量换内容」契约已被 AI 打破。
- 03Cloudflare 推出「Pay Per Use」模式，从按爬取次数收费升级为按内容在 AI 回答中「产生价值」收费，起步合作伙伴为 AI 搜索公司 Ceramic.ai 和 You.com。
- 042025 年 3 月 Cloudflare 自发布爬虫 API，支持一键抓取整个网站，引发出版商对其「一边拦爬虫、一边自己造爬虫」的双重角色质疑。
- 05AI 聊天机器人带来的引荐流量比传统搜索少约 96%，用户点击引用来源的概率仅约 1%，Google AI Overviews 导致外链点击量下降约 40%。
反方 / 局限
- — Cloudflare 管理全球约 20% 流量，另外 80% 的站点不受其保护，AI 公司可将数据采集重心转向非 Cloudflare 站点，政策效果有限。
- — 大出版商（如 Condé Nast）已有独立与 AI 公司谈判的能力，而个人博主和小创作者仍需承担「屏蔽爬虫＝减少曝光」的生存矛盾，未必能从新体系中获益。
- — Cloudflare 自身既是规则制定者、执行者又是市场参与者，其自建爬虫的行为削弱了其中立性，被质疑为「两边下注永远赢」的策略。
CloudflareMatthew PrinceGoogleOpenAIAnthropicCeramic.aiYou.comCondé NastRedditPay Per UseAI OverviewsGooglebotrobots.txt
10 分钟 · 3 卡片 · 9 资料
读原文 →