6.5
深览指数
科技TechCrunch·Sarah Perez··AI 生成
Cloudflare 新政策推动 AI 公司为出版商内容付费
Cloudflare 宣布从 2026 年 9 月 15 日起，默认屏蔽同时用于搜索、AI 代理和训练的“混合用途”爬虫，只有明确用于传统搜索的爬虫可自由抓取带广告的页面。此举旨在为网站拥有者提供内容控制权和商业变现机会，并点名批评 Google 利用其搜索垄断地位获取了“大约两倍于其他 AI 公司”的网页内容，迫使 AI 公司拆分其爬虫行为。文章同时介绍了 Cloudflare 推出的“按次付费”市场，以及与 Ceramic.ai、You.com 的初始合作案例。原文 ↗
核心观点
- ▍Cloudflare 通过改变默认设置，强制 AI 公司将其用于搜索、AI Agent 和模型训练的爬虫分拆开来，否则将无法抓取带有广告的网站内容，以此推动内容付费生态。
- 01从 2026 年 9 月 15 日起，Cloudflare 默认设置将屏蔽“混合用途”爬虫抓取任何带有广告的页面，适用于新客户、现有客户的新站点以及所有现有的免费客户。
- 02Cloudflare 指明“全球最大的搜索引擎”（暗指 Google）由于搜索与 AI 功能的混合（如 AI Overviews），获得了“大约两倍于其他 AI 公司”的网络内容访问量。
- 03Cloudflare 的数据显示，超过 50% 的 AI 爬虫流量是在重复抓取未更改的页面，造成了带宽和计算资源的浪费。
- 04Cloudflare 推出了“按次付费”市场，并已与 Ceramic.ai 和 You.com 合作，当出版商内容被使用后获得相应报酬。
- 05Cloudflare CEO Matthew Prince 表示，互联网流量中非人类流量已首次超过人类流量，需要采取更快的行动来构建可持续的生态系统。
反方 / 局限
- — Google 回应称其提供了 Google Extended 爬虫，允许网站所有者选择不将其内容用于 AI 训练和产品（如 Gemini 应用），且不影响其在 Google 搜索中的收录。
- — 文章未明确讨论 AI 公司对此政策的反应，也未分析这对依赖 AI Agent 搜索服务的小型初创公司可能造成的成本负担或技术障碍。
10 分钟 · 4 卡片 · 9 资料
读原文 →