Your site, your rules: new AI traffic options for all customers

Cloudflareが全顧客向けに、自社サイトへのAIクローラー（Webデータを収集するボット）のアクセスを細かく制御できる新オプションを発表。背景として、OpenAIやAnthropic、Googleなど大手AI企業がモデル訓練や検索品質向上のためにWebサイトをスクレイピング（自動収集）しており、パブリッシャーやクリエイターの間で「無断でコンテンツを利用されている」との懸念が高まっている。Cloudflareは以前からBot Management機能でこうしたクローラーをブロックする手段を提供していたが、今回のアップデートでは「AI Agents/Audits/Bots & Crawlers」という3つのカテゴリに分類した上で、許可・ブロック・レート制限をワンクリックで設定できるダッシュボードを新設。特に「許可するが監査目的に限定」という中間オプションを設けた点が新しく、コンテンツ所有者が「AIに学習されるのは拒否するがインデックス登録は許可する」といった細かい線引きを可能にしている。CloudflareはCDN（コンテンツ配信網）とセキュリティの中間インフラを担う企業で、インターネット上の約20%のWebサイトが利用する巨大プラットフォーム。同社がこの問題に取り組むのは、自社の顧客であるサイト運営者からAIクローラー対策の要望が増えているためで、業界全体ではrobots.txt（クローラーの行動指針）の形骸化や、AI企業側の透明性不足も問題視されている。