検索エンジンが読み込みアクセスが制限されている場合、robots.txtを読むことができますか？

Question

robots.txtファイルを追加し、いくつかの行を追加していくつかのフォルダを制限しました。また、.htaccess file.Canを使用してrobots.txtファイルにアクセスするための制限をすべて追加しました。

Answer 1

このファイルは自由に読み取ることができます。検索エンジンはあなたのウェブサイトの訪問者のようなものです。訪問者がこのファイルを見ることができない場合、検索エンジンはそれを見ることもできません。

このファイルを非表示にする理由はまったくありません。

Answer 2

Webクローラーは、robots.txtをHTTPで取得できる必要があります。そうしないと、ファイルを解析して構成を尊重することができなくなります。

Answer 3

答えはノー！しかし、あまりにも簡単で、最も安全を試すことはまだです：
https://support.google.com/webmasters/answer/6062598?hl=en

のrobots.txtテスターツールを使用するには、 ブロックrobots.txtファイルかどうかをあなたのサイト上の特定のURLから、Googleのウェブクローラを示しています。 の例では、このツールを使用して、Google イメージ検索からブロックする画像のURLをGooglebot-Image クローラがクロールできるかどうかをテストできます。