Googleがクロールしてスパムを引き起こした場合、メールボックスのそれで、最後のクロールされたタイムスタンプをサーバ上のテキストファイルに記録することができます。これは、いつでもperl LWP modを使って読むことができます。 ファイルがちょうどこのデータを持っている必要があります:29、2012年1月GMTなど ボットが自分のサイトを複数回訪問している場合、それはTXTファイルを上書きし、最後の訪問時間を記録する必要がありGoogleのボットが自分のサイトのURLをクロールしていることを発見して、サーバー上のテキストファイルに最後のアクセス時間を記録することは可能ですか?
<?php
if (strpos($_SERVER['HTTP_USER_AGENT'], 'Googlebot') !== false)
{
// paste your email address here
$my_email = '[email protected]';
// notify via email
mail($my_email,'[Notification]Googlebot Visit', 'Googlebot has just visited your website WEBSITE_NAME: '.$_SERVER['REQUEST_URI']);
}
?>
可能な場合は、いくつかの実装で助けてください
Google botがサーバーに当たっているかどうかを確認して、サーバーからサイトの任意のページを要求した時刻を確認することができますか?あなたはGooglebotのを検出する方法を知っている
...ファイルにテキストを書き込む方法についてのご質問ですか? – Brad
はい、サーバーにアクセスした時刻(タイムスタンプ)を検出し、最新のクロールされた時刻のサーバー上のtxtファイルを上書きする方法 – neo
まず、実際のGooglebotユーザーエージェントと偽のGooglebotユーザーエージェントを区別する必要があります。 –