SEO robots.txtのフォルダ

Question

を禁止はrobots.txtの中にこれらの2行は正常のようになりますURLをインデックスページからGoogleに停止します私はこれらのページのインデックスを作成するGoogleの問題を抱えているので、私はそれを止める別の方法を見つけることができません。

robots.txtの変更が検索エンジンに表示されるまでにどれくらい時間がかかりますか？

Answer 1

Robots.txtがGoogleのサイトクロールを停止します。必ずインデックスに登録する必要はありません。特にインデックスを作成している場合は削除しません。

あなたが代わりにあなたのページのHEADのHTMLにmeta noindexタグを追加し、Googleがこれを表示するには、ページを再クロールできるようにする必要があります（すなわち、robots.txtのを使用してませブロックを行います）。すべてのページがGoogleから脱落してから（しばらく時間がかかる可能性があります）、必要に応じてrobots.txtでブロックすることができます。

robots.txtの主な理由と利点は、Googleがこれらのページを見て時間を浪費するのを止めることです。各サイトにはクロール予算が割り当てられているため、毎日特定のページ数がGoogleによって再インデックスされます。だから、多くの浪費を無駄にしていると、 のページに予算が掛けたくなければ、それはページを保持していません。doはできるだけ最新のものに索引を付ける必要があります。

さらに、一部のクローラ（Googleではありませんが）が無視することがあるため、機密ファイルを非表示にするためにrobots.txtに頼るべきではありません。

最後に、商品が既にインデックスに登録されていて、重複したページでインデックス化したくない場合は、HEADコードのrel canonical linkを使用して、noindexの代わりに実際のページを指定します。