私は一見問題なく、一年以上にわたって、次のrobots.txtがあった：robots.txtで選択した拒否のみがiisbotのものだった場合、なぜgooglebotがすべてのURLをブロックしていますか？
User-Agent: *
User-Agent: iisbot
Disallow:/
Sitemap: http://iprobesolutions.com/sitemap.xml
は、今私はなぜ、Googlebotがすべてブロックされたrobots.txtテスター
から次のエラーを取得しています私が選択した拒否権がiisbotだけだったら私のURL？
連続してUser-Agent行が追加されます。したがって、DisallowはUser-Agent: *とUser-Agent: iisbotに適用されます。
Sitemap: http://iprobesolutions.com/sitemap.xml
User-Agent: iisbot
Disallow:/
実際にはUser-Agent: *は必要ありません。
として読み込んでいます。実際のコードには空白行があり、質問でそれを更新しました。これがまだ間違っている場合は、コードを入力してください。 –
私のアンサーを編集しました。空行は無視されます。 –
実際にコードを使用した後、Googleクロールでは次の問題が報告されています。「サイトマップにはrobots.txtによってブロックされたURLが含まれています。スクリーンショットを参照してください：https://www.dropbox.com/s/uk5xsbuk7yqo6za/Screenshot%202017-08-02%2016.08.13.png?dl=0どのような問題がありますか？ –
あなたのrobots.txtは無効です（original robots.txt specificationによる）。
User-agent行と少なくとも1つのDisallow行が必要です。この仕様では、無効なレコードの処理方法を定義していません。だから、ユーザエージェントはあなたのrobots.txtを1つのレコード（空の行を無視する）として解釈するか、最初のレコードをすべてを許可すると解釈するかもしれません（少なくとも想定される前提です）。
あなたが（「iisbot」を除く）すべてのロボットがすべてをクロールできるようにしたい場合は、あなたが使用する必要があります。
またUser-Agent: *
Disallow:
User-Agent: iisbot
Disallow:/
、あなたはすべてがとにかくデフォルトで許可するよう、最初のレコードを省略することができます。しかし、私はここで明確にすることを好むでしょう。
ありがとう、しかし、私はまだhttps://www.dropbox.com/s/ezdw64korncw2r9/Screenshot%202017-08-03%2010.15.57.png?dl=0ごとにサイトマップのエラーが表示されます。サイトマップ：https://www.dropbox.com/s/mfd3ozz9343tnjg/Screenshot%202017-08-03%2010.15.01.png?dl=0 –
実際に私があなたの正確なコードを使用しても、私はまだエラーが発生します。 –
@JulieS：GoogleのSearch Consoleで報告されたサイトマップの警告は、robots.txtの問題とは直接関係していないと言います。私の推測では、それはキャッシングの問題です：Googleはrobots.txtのキャッシュを更新するまで少し時間がかかるので、新しいrobots.txtではURLがないため、サイトマップにブロックされたURLはもう表示されませんそれらのためにもうブロックされます）。 – unor
https://stackoverflow.com/questions/20294485/is-it-possible-to-list-multiple-user-agents-in-one-line「User-Agent：*」のように見えます'User-Agent：* iisbot' – WOUNDEDStevenJones