Skip to content
TopicTracker
出典 HackerNews原文を表示
翻訳言語翻訳言語

Cloudflare、AIクローラーに期限を設定——検索と分離しなければブロック

Cloudflareは、AIクローラーに対して、一般ユーザーの検索トラフィックとAIボットによるデータ収集とを明確に分離するよう期限を設定した。この期限までに措置を講じないAIクローラーは、同社のネットワーク上でブロックされる可能性がある。この動きは、Webサイト運営者がAIによるデータスクレイピングをより細かく制御できるようにするためのものだ。

背景メモ

Cloudflareは、Webサイトの高速化やセキュリティ保護を提供するアメリカの大手インフラ企業。世界中のトラフィックの約20%を処理している。 - 同社がAI企業向けに新ルールを発表。AIモデルの学習や検索のためにWebサイトをクロール(自動巡回)するボットに対し、通常の検索エンジン向けクロールとは別の経路(別IPレンジなど)を使うよう義務付ける期限を設定。 - 期限を過ぎても従わないAIクローラーはブロックする方針。理由は、AIクローラーの急増によりサーバー負荷が高まり、通常の検索や一般ユーザーのアクセスに悪影響が出ているため。 - 背景として、OpenAI(ChatGPT)、Anthropic、Google、Metaなどが学習データ収集のためWebを大量クロールしており、サイト運営者はこれらを個別にブロックする手間を強いられてきた。Cloudflareは業界の標準ルール作りを主導しようとしている。

関連記事