科技TechCrunch·Sarah Perez··AI 生成
Patreon 不再请求 AI 机器人不要爬取，转而直接拦截
Patreon 宣布与 Cloudflare 合作，从被动请求（通过 robots.txt）转向主动拦截 AI 训练爬虫。文章指出，由于 AI 爬虫无视 robots.txt 且每周访问尝试数以千计，原有措施已失效。Patreon 产品负责人强调创作者应有权控制作品被 AI 训练的方式，这与当前大多数平台“接受训练才能获得曝光”的现状形成对比。适合关注内容创作者权益、AI 版权政策与平台技术对抗的读者速览。原文 ↗原文 ↗
核心观点
- ▍Patreon 从依赖 robots.txt 的被动请求，转向通过 Cloudflare 技术主动拦截 AI 训练爬虫，以确保创作者内容不被未经授权用于 AI 训练。
- 012023 年 Patreon 首次采取措施阻止 AI 爬虫，但到 2025 年，爬虫技术已更复杂，且无视 robots.txt，每周访问尝试数以千计。
- 02Patreon 的付费墙原本能保护大部分内容，但新推出的 Home Feed 和类推文功能 Quips 可能暴露更多内容至爬虫可及范围。
- 03Cloudflare 提供的 AI Crawl Control 技术允许网站直接拦截 AI 训练爬虫，并推出了允许网站向爬虫收费的市场 Pay Per Crawl。
- 04Cloudflare 改变了其政策，默认拦截在有广告页面上的“混合用途”爬虫（既索引又用于训练）。
- 05Patreon 表示将允许用于索引和引导用户返回 Patreon 的爬虫，但禁止用于 AI 训练。
反方 / 局限
- — Patreon 的拦截措施主要针对公开内容，其付费墙后的内容本来就有天然保护，文章未讨论拦截对依赖免费内容进行研究的学术或非营利 AI 项目的影响。
概念锚点
前置背景
未来推演
延伸追问