您的网站，您的规则：面向所有客户的全新AI流量选项
Cloudflare宣布为所有客户提供新的AI流量控制选项，让网站所有者能够自主决定AI爬虫和机器人如何访问其内容。这些新功能包括可自定义的AI抓取规则、灵活的流量过滤设置，以及针对AI服务请求的精细化管理工具，帮助网站管理员在保护内容的同时，为合法AI访问提供便利。
背景速读
- Cloudflare 是全球最大的内容分发网络（CDN）和网络安全公司之一，为全球大量网站提供加速、防护和隐藏源服务器 IP 的服务。其"边缘网络"（Edge Network）决定了网站内容如何到达用户。
- 多家 AI 公司（如 OpenAI、Anthropic、Google 等）的训练爬虫会大规模抓取网站内容来训练大语言模型。许多网站所有者希望选择是否允许 AI 爬虫使用自己的内容，但缺乏简单的控制手段。
- Firewall for AI 是 Cloudflare 新推出的功能，允许用户在边缘层面（即 Cloudflare 网络节点上）识别和分类 AI 爬虫流量，并决定是放行、阻拦还是限制其访问网站的特定部分，而无需修改网站自身代码。
- 在此之前，网站所有者主要靠 robots.txt（一种纯声明性协议，AI 公司可以选择遵守与否）或自行分析 IP 地址来屏蔽 AI 爬虫，操作门槛高且效果不可控。Cloudflare 将其变为平台级的可执行策略。
- 该功能属于 Cloudflare"AI 时代内容独立"倡议的一部分，旨在让内容创作者在 AI 训练数据使用上拥有更多自主权，同时也回应了出版商、艺术家和科技社区对"未经同意抓取训练数据"的广泛争议。