Googleが/ var/www/

の他のフォルダをクロールするのを防ぐ

ApacheでプロキシされたRuby on RailsのWebサイトを構築しました。だから、ウェブサイトのルートフォルダは次のようになり/ var/www/htmlと設定/ digiryteとフォルダ構造は、このGoogleが/ var/www/

/var/www/html/ 
    rails_website/ 
    folder1/ 
    folder2/ 
    index.html

に似てトラブルがGoogleのウェブマスター向けのコンソールでは

/html/rails_website/public/assets/...

のようなURLでクロールエラーを示しています

これはどのように可能ですか？
Googleでこれらのフォルダのインデックスを作成しないようにするにはどうすればよいですか？

あなたは、私がrails_website内のURLがインデックスではなく、他のフォルダになりたい

User-agent: * 
Disallow: /rails_website/

2016-06-27 14:36:19

をインデックス化することが習慣はありませんフォルダを禁止するためにrobot.txtを使用することができます。私はそれらのフォルダにどのようにGoogleがアクセスしているかについては空白です。 – sureshprasanna70

私は最良の方法は、あなたがインデックスを作成するURLのsitemap.xmlを作成し、そのフォルダをrobot.txtでブロックすることだと思います –

答えて