Amazonbotがついにrobots.txtを尊重するようになりました
サイト運営者の長年の要望を受け、Amazonのクローラー「Amazonbot」がついにrobots.txtを遵守し始めた。これにより、ウェブサイト所有者はAmazonbotによるスクレイピングを制御できるようになり、サーバー負荷の低減や不正アクセスの防止が期待される。
関連記事
Amazonbot, Amazon's web crawler, has started respecting the robots.txt file, which allows website owners to control automated access. The author thanks Amazon for this change, noting it helps support a viable business model for smaller sites.