URLをどこにでも投稿しなかった場合、Google Webクローラは自分のウェブサイトをどのように見つけますか？

Question

google webクローラが私のウェブサイトをどのように見つけているのだろうか。 Googleが索引付けした他の場所にURLを投稿していないと仮定します。

誰かが説明できますか？

Answer 1

公共のホスティングサイトの会社/ホスティングサーバーファーム内のサイト（他の多くのインターネットサイトのような）がホストされている場合は、 これらの企業は通常、Google botを示唆するすべてのURLのサイトホストアドレスの主要クロールインデックスを公開しますどのサイトをクロール/再クロールする必要があり、どのアドレスがホスティングサーバー上で作成されたのかがわかります。

「ウェブクローラ」として知られているGoogleのソフトウェアを使用して、公に利用可能なウェブページを発見したことが通知されました。最もよく知られているクローラは「Googlebot」と呼ばれます。クローラは、ウェブ上のコンテンツを閲覧していた場合と同様に、ウェブページを見て、そのページのリンクをたどります。彼らはリンクからリンクに行き、それらのウェブページに関するデータをGoogleのサーバーに戻します。