Googleクローラの時間制限

googlebotに特定の日または期間（たとえば週末のみ）にサイトをクロールするよう通知するために、プロパティを設定することは可能ですか？Googleクローラの時間制限

おかげで、

2009-07-07 pang

はそうは思わないが、Googlebotがかなり頻繁にあなたのrobots.txtを再読み込みんので、私はあなたがそれらの時に代替のrobots.txtに入れ替えた場合、それは例えば、うまくいきますかしらスクリプトで？

2009-07-07 08:07:07

ここでスワップされた代替方法は、Googlebotをオンとオフに切り替える方法を参照してください。 – pang

ええ、金曜日の夜に実行されるスクリプトでは、「ok、scan me」というrobots.txtに切り替わり、その後、別のスクリプトが「go away」という制限付きのrobots.txtのためにそれを入れ替えます。。完璧ではない可能性があります。つまり、googlebotが変更を取得するまでに時間がかかることがありますが、それほど長くはないと思います。 –

私は非常に注意しています - ボットは、サイトを完全にインデックスから削除するための "Disallow"と解釈するかもしれません。 –

クロール速度を遅くすることをお勧めします（サイトが最低速度よりも速くクロールされている場合）が、90日間有効です（http://www.google.com/support/webmasters/bin/answer.py?hl=en&answer=48620を参照）。

robots.txtを変更すると問題が発生する可能性があります。これはGoogleによってキャッシュされるため、クロールを許可しないとサイトが意図した以上に長くクロールされない可能性があります。

Googleには複数のボットタイプがありますので、robots.txtを意図したとおりに使用して、サイトのどの部分がクロールするのに適しているかを選択できるようになります。 http://www.google.com/support/webmasters/bin/answer.py?answer=40360を参照してください。

出典

2009-07-07 08:34:06 mas

XML sitemapを使用すると、適切なクロール頻度についてのヒントを得ることができますが、ヒントに過ぎず、特定の日のリクエストはできません。

出典

2009-07-07 08:40:20

Googleクローラの時間制限

答えて

関連する問題