自動スクレーパーからリンクデータベースを保護するにはどうすればよいでしょうか？

Question

私は大きなリンクデータベースを持っています。私はそれらをコピーしたいと思う他の人たちを守りたいと思っています。各リンクの前に人々がCAPTCHAに入るように強制する以外に何かできることはありますか？

Answer 1

ROT13を使用してリンクを出力してから、javascriptを使用して通常の状態に戻すことができます。困難なものでROT13を交換し、あなたの「復号」JavaScriptを難読化： この方法、スクレーパーは資格スクレーパー

ボーナスポイントの数を減らすべきか、あなたのリンクを盗むために、JavaScriptをサポートしている必要があります。

Answer 2

javascriptの提案はうまくいくかもしれませんが、スクリーンリーダーのような支援技術やJavaScriptを使用していない人にはページをアクセスできません。

もう1つの可能なオプションは、cryptographic nonceを生成することです。この手法は現在、CSRF攻撃から保護するために使用されていますが、リンクにアクセスする前にスクレイパーがサイトからページを要求しなければならないことを保証するためにも使用できます。ホットリンクをサポートしている場合、このアプローチは適切ではないかもしれませんが、誰かがあなたのサイトに最初に行ったことを確認したいだけなら、それはうまくいく可能性があります。

もう1つのゲットー・オプションは、参照元を使用します。これらは簡単に偽造することができますが、掘り起こしスクレーパーの一部を防ぐかもしれません。また、ユーザーがサイトにアクセスする前にユーザーの所在を知る必要があります。

あなたがホットリンクしている場合、または保護されたリンクに行く前にユーザーがサイトにアクセスした場合は、お知らせください。私たちはより良い助言をそのように提供できるかもしれません。