Cloudflare将屏蔽来自广告支持网页的恶意搜索与爬取机器人
Cloudflare宣布将阻止那些从广告支持网页上抓取内容的恶意搜索和爬取机器人。这一举措旨在保护内容创作者的收益，防止机器人在不承担广告加载成本的情况下窃取内容用于训练AI模型或搜索引擎索引。新政策将允许网站管理员识别并屏蔽那些既不加载广告也不尊重网站商业模式的爬虫行为。
背景速读
- Cloudflare 是一家全球知名的互联网基础设施公司，提供 CDN（内容分发网络）、DDoS 防护、DNS 解析等服务。它充当网站与用户之间的中间层，能识别并拦截各种网络流量。
- 本文报道的是 Cloudflare 即将推出的一项新功能：自动识别并阻止“只爬取内容却不贡献广告收入”的爬虫机器人。所谓“刷流量”机器人——比如 AI 公司用来抓取网页数据训练大模型（如 ChatGPT、Gemini 等）的爬虫——会频繁访问页面却不加载广告，既不产生广告曝光也不带来收益，但消耗了网站的带宽和服务器资源。
- 这一举措的背景是：越来越多内容创作者和新闻网站抱怨 AI 爬虫未经授权、不付费用地攫取它们的版权内容，同时导致搜索引擎（如 Google）在结果中展示 AI 摘要而非原始页面，进一步削弱了网站流量和广告收入。Cloudflare 此举是对这一行业矛盾的回应。
- 该功能默认可能关闭，由网站管理员自主开启。Cloudflare 需要谨慎区分“好的爬虫”（如 Googlebot，它会带来搜索流量）和“坏的爬虫”（如 AI 训练爬虫），避免误伤搜索引擎索引等必要访问。