なぜGoogleのサポートサイトから、クローラ

Question

検証するために必要とされる順DNSある - 呼び出し側としてのGooglebotを確認するには

を：使用して、あなたのログからアクセスするIPアドレスのDNSの逆引き参照を実行します

ホストコマンドドメイン名が googlebot.comまたはgoogle.comのいずれかになっていることを確認します。 ドメイン名でhostコマンドを使用して、手順1で取得したドメイン の名前に対して前方DNS検索を実行します。ログにあるIPアドレス の元のアドレスと同じであることを確認します。

私の質問は、フォワードDNSルックアップがなぜ必要なのですか？攻撃者がcrawl-xx-xx-xx-xx.googlebot.comという形式のDNSレコードを作成できますか？

私は実際に私のログでこれを見ています - 他のクローラも同様です。 Ipのことは、DNSの逆引きが正しいドメインから来ているが、フォワードルックアップがIPを返さないということです。これがどのように可能かと思います。

Answer 1

逆ゾーンは誰でもサービスできます。 IPスペースを所有し、逆引き参照を転送するようにispを取得する場合、必要なものを指す逆ゾーンを提供できます。私は、任意のIPブロックを購入し、すべてのレコードがcrawl-xx-xx-xx-xx.googlebot.com

に私もそのゾーンのGoogleのDNSフォワードを制御することはできませんされていると言う私のゾーン4.3.2.1.in-addr.arpaを提供することができ、攻撃者として

。だから、1.2.3.4を逆引き参照してcrawl-12-34-56-78.googlebot.comを返すことができますが、crawl-12-34-56-78.googlebot.comに前方参照を取得して1.2.3.4を返すことはできません。

ログに一貫性のないエントリがあると、ほぼ確実にGoogleを偽装しようとしている第三者のボットです。