サーバはPythonスクリプトでアクセスしていることを知ることができますか？もしそうなら、それを隠す方法は？

Question

私はurllib2ライブラリを使用してウェブサイトを読もうとしています。 はここに私のスクリプトです：私は、サーバーがこれらの要求を受信して​​、どのように疑問に思って

import urllib2 

# Get a file-like object for the Python Web site's home page. 

def wikitranslate(word): 
    translation = '' 
    pageURL = '' 
    opener = urllib2.build_opener() 
    f = opener.open("http://fr.wikipedia.org/w/api.php?action=opensearch&search=" + re.sub(' ', '%20', word.rstrip())) 
    # Read from the object, storing the page's contents in 's'. 
    s = f.read() 

それはPythonスクリプトではなく、ブラウザからアクセスされているという事実を認識することができます。

もしそうなら、それを隠す方法はありますか？

Answer 1

urlリクエストのヘッダーにあるUser-Agentフィールドは、Webサーバーにそのサイトにアクセスするために使用しているブラウザとシステムを記述します。したがって、pythonスクリプトリクエストとして自分自身を隠すか、そのフィールド。あなたのエージェントを隠すためにしたいのであれば、単にそれを宣言していない、またはあなたが強制的にそれが偽りのものであることを宣言することができurllib2

を使用している場合、このフィールドは空白のままになっているデフォルトで

request = urllib2.Request(url,None) 
request.add_header('User-Agent','Python Script') # Or 'Not a python script' 

request.add_header('User-Agent','None of your business.') 

Answer 2

もちろん、それは検出可能ですが、通常は直接的ではありません。たとえば、ユーザーエージェントの動作（1時間ごとに同じファイルにアクセスする）を見たり、iframe + img + javascriptを読み込んで実際にウェブブラウザであるかどうかを調べたりできます。それはあなたが続行する前に完了しなければならないcaptchaを提示することができ、外部スクリプトがアクセスするのを防ぐためのさまざまなテクニックがあります。

しかし、1つのリクエストを見ると、そのリクエストを行うスクリプトであることを検出するのがずっと難しくなります。実際、ブラウザを完全に模倣することは可能です。その背後にいるユーザーではありません。

しかし、より大きな質問は、あなたがしようとしていることが適切かどうかです。スクリプトによっては、ウェブサイトにアクセスしたくないウェブサイトがある理由があります。