スタティックアセットのクッキーレスサブドメインが検索エンジンによってインデックス化されないようにする

Question

新しいAレコードを作成し、それを同じIPアドレスで指すことによって、すべての静的アセット（static.example.com）に対して新しいサブドメインを作成しましたメインのwww.example.comサイトと同じDocumentRootを持つ仮想ホストを作成します。静的リソースのすべての参照は静的サブドメインに向いていますが、すべてのWebサイトリソースはstatic.example.comまたはwww.example.comからアクセスできます。

問題は、Googleがstatic.example.comサブドメインのhtmlファイルのインデックスを作成し始めたことです。 Googleがこのドメインのファイルをインデックスに登録しないようにするにはどうすればよいでしょうか？

Answer 1

これを行うにはいくつかの方法があります。 1人が使用していますrobots.txt

ルートディレクトリにstatic.example.com.robots.txtファイルを作成し、次のファイルを作成します（他のドメインと共有されているためrobots.txtは使用できません）。

これはあなたのサイトのルートフォルダに、あなたの.htaccessに次のルールを追加し、これはstatic.example.comサイトからのみ提供されることを保証するために、すべてのスパイダー税込のGooglebotが

User-agent: * 
Disallow:/

を禁止します。

RewriteEngine On 
RewriteBase/


#if request is on static.example.com 
RewriteCond %{HTTP_HOST} ^static\.example\.com$ [NC] 
#serve robots.txt from static.example.com.robots.txt 
RewriteRule ^(robots\.txt)$ %{HTTP_HOST}.$1 [L,NC]