2012-01-28 3 views
4

Googleがクロールしてスパムを引き起こした場合、メールボックスのそれで、最後のクロールされたタイムスタンプをサーバ上のテキストファイルに記録することができます。これは、いつでもperl LWP modを使って読むことができます。 ファイルがちょうどこのデータを持っている必要があります:29、2012年1月GMTなど ボットが自分のサイトを複数回訪問している場合、それはTXTファイルを上書きし、最後の訪問時間を記録する必要がありGoogleのボットが自分のサイトのURLをクロールしていることを発見して、サーバー上のテキストファイルに最後のアクセス時間を記録することは可能ですか?

<?php 
if (strpos($_SERVER['HTTP_USER_AGENT'], 'Googlebot') !== false) 
{ 
// paste your email address here 
$my_email = '[email protected]'; 
// notify via email 
mail($my_email,'[Notification]Googlebot Visit', 'Googlebot has just visited your  website WEBSITE_NAME: '.$_SERVER['REQUEST_URI']); 
} 
?> 

可能な場合は、いくつかの実装で助けてください

Google botがサーバーに当たっているかどうかを確認して、サーバーからサイトの任意のページを要求した時刻を確認することができますか?あなたはGooglebotのを検出する方法を知っている

+0

...ファイルにテキストを書き込む方法についてのご質問ですか? – Brad

+0

はい、サーバーにアクセスした時刻(タイムスタンプ)を検出し、最新のクロールされた時刻のサーバー上のtxtファイルを上書きする方法 – neo

+0

まず、実際のGooglebotユーザーエージェントと偽のGooglebotユーザーエージェントを区別する必要があります。 –

答えて

6
if (strpos($_SERVER['HTTP_USER_AGENT'], 'Googlebot') !== false) { 
    file_put_contents('somefile.txt', 'Googlebot was here - ' . date(DATE_RFC822)); 
} 
+0

Bradとsdleiに感謝します。この機能は、訪問時にgooglebotで既存のsomething.txtファイルを上書きして更新します。 – neo

+0

いいえ、スクリプトのパスに対して 'somefile.txt'を上書きして更新します。 – Brad

+0

すばらしいです – neo

関連する問題