robots.txtについての説明があります

Question

クローラがページのインデックスを作成するためには、自分のウェブサイトにrobots.txtが必要かどうかを知りたいだけです。または、インデックスを作成したくないコンテンツを許可しないだけです。

Answer 1

クローラの索引作成にrobots.txtは必要ありません。それは反対で、サイトの一部の特定のロボットを禁止するために使用されます。

あなたが知る必要があるすべてはここにある：http://www.robotstxt.org/

Answer 2

私は、robots.txt缶を反対する（とすべきである）一つまたは複数のマップを使用しているときに使用されます。必須ではありませんが、インデックス作成を容易にするためにそれらを使用することを強くお勧めします。