転送されたサブドメインのrobots.txtはどれですか？私は私のホスティングに設定する2つのサブドメイン持つ理論的には

Question

：

subdomain1.mydomain.com

subdomain2.mydomain.com

subdomain2は、外部サービスを指すCNAME記録を持っています。

mydomain.comには、すべてのインデックス付けを可能にするrobots.txtがあります。

subdomain2.mydomain.comにはrobots.txtがあり、CNAMEレコードのためにインデックスを作成することはできません。

subdomain1.mydomain.comからsubdomain2.mydomain.comへの転送を設定した場合、subdomain1.mydomain.comへのリンクにアクセスすると、robots.txtが使用されますか？ robots.txtの場合、ドメイン転送はCNAMEレコードと同じ方法で動作しますか？

Answer 1

これは、サーバーの設定によって異なります。

は、例えば、以下の設定を行ってください。この場合、

server { 
    server_name subdomainA.example.com; 
    listen 80; 

    return 302 http://subdomainB.example.com$request_uri; 
} 

を、我々はsubdomainA.example.comsubdomainB.example.comからすべてをリダイレクトしています。これにはrobots.txtファイルが含まれます。

ただし、設定が特定の部分のリダイレクトのみに設定されている場合、robots.txtファイルはリストにある場合にのみリダイレクトされます。これは、たとえば/someFolderのようにリダイレクトする場合のみです。あなたは302を返しますが、ちょうど（例えばsubdomainAとsubdomainBが異なるサブドメインですが、同じコンテンツを提供）別のルートを使用しない場合は、お使いのrobots.txtコンテンツがルートディレクトリによって決定されること

は注意してください。

したがって、あなたの設定を正しく理解している場合、subdomain1はをsubdomain2から使用します。

Answer 2

あなたが挑戦しているのは、構成しようとしているソフトウェアの観点から見たものですが、検索エンジンや他のロボットはURLからロードするドキュメントのみを表示しますウェブブラウザを備えた他のユーザ）。つまり、検索エンジンはhttp://subdomain1.mydomain.com/robots.txtとhttp://subdomain2.mydomain.com/robots.txtを読み込もうとします。実際には、検索エンジンがあなたの望むものを提供していることを確認するために、あなたのサーバーにどのようなソフトウェアを設定してもかまいません。

CNAMEは、ドメイン名を解決するためにブラウザがどのIPを見るべきかをロードするときにリダイレクトを追加する単なる方法です。ロボットは名前を解決して接続する「実際の」IPを見つけるときにロボットを使用しますが、サーバに接続した後には何もしません。

「転送」という言葉は、さまざまなことを意味する可能性があるため、ブラウザまたはロボットがページをリクエストしたときに受け取る内容を知る必要があります。クライアントを別のURLに送信するために301または302のリダイレクトを行っている場合は、異なる検索エンジンから、異なるドメインにリダイレクトされた場合など、異なる検索エンジンの結果が得られる可能性があります。私はおそらくそれを避けようとするでしょう。なぜなら、多くのロボットがあまり書かれていないからです。いくつかの検索エンジンには、クローラがrobots.txtのURL（たとえば、Google's tool）をどのように読み取っているかを判断するのに役立つツールがあります。