不正なボットのクロールを停止しますか？

Question

これはいいアイデアですか？

http://browsers.garykeith.com/stream.asp?RobotsTXT

虐待クロールは何を意味するのでしょうか？どのように私のサイトに悪いですか？

Answer 1

とにかくrobots.txtファイルは無視されます。

不正行為とは、通常、擦り傷を意味します。これらのボットは、電子メールアドレスまたはより一般的なコンテンツを収穫するために表示されます。

どうやって止めることができますか？それは本当に面倒で、しばしば賢明ではありません。アンチクロール技術は完璧ではない傾向があり、通常の人間には問題を引き起こします。

悲しいことに、小売店での「収縮」のように、ウェブ上でのビジネスのコストです。

Answer 2

ユーザーエージェント（クローラを含む）は、robots.txtを尊重する義務はありません。あなたができることは、悪意のあるアクセスパターンを（ウェブログなどで）特定し、対応するIPをブロックすることです。