今日のウェブでは、HTTPの結果は使用するHTTP User-Agentに依存する

かつてはGooglebotとブラウザに同じコンテンツを提供するのが基本だったが、現在は異なるUser-Agentに対して異なる結果を返すことが一般的。特にブラウザライクなUser-Agentは偽装されやすく、チャレンジページやエラーが返されるケースが増えている。