Blocking I/Oを使用したPythonマルチスレッド化

Question

私のアプリケーションは、完了までに時間がかかる複数のI/Oブロック（ネットワーク）要求を使用します。 私はマルチスレッドを使用しようとしましたが、スピードアップを引き起こすようには見えませんでした。私はそれがPythonのGILと関係があると思います。

すべてのリクエストは同時に実行でき、互いに依存関係はありません。このパフォーマンスの問題を解決するにはどうすればよいですか？

私のコード

import threading 
import urllib2 
import time 
def send_request(url, count_str): 
    start_time = time.time() 
    urllib2.urlopen(url) 
    print "Request " + count_str + " took " + str(time.time() - start_time) + " started at " + str(start_time) 

count = 0 
for url in open('urllist.txt'): 
    t = threading.Thread(target=send_request, args = (url.strip(), str(count))) 
    t.start() 
    count+=1 

出力が応答するために5秒かかる私はローカルで実行しているサーバーへのurllist.txtポイントで

Request 1 took 5.0150949955 started at 1458789266.78 
Request 2 took 10.0112490654 started at 1458789266.79 
Request 0 took 15.024559021 started at 1458789266.78 
Request 3 took 20.016972065 started at 1458789266.79 

のURLです。 ご覧のように、それらはすべて同時に開始しますが、ブロックしています。

Answer 1

私は問題を再現することができません。（少数のインターネットサーバーに対してテストを行うと、すべてのリクエストはほぼ同じ時間にサービスされ、着実に増加する遅延はありません）別の問題：使用している「ローカルサーバー」がマルチスレッド化されていない可能性があります（または複数の要求を一度に処理できない可能性があります）。

独自の出力は、スレッドが並行して起動しているが、要求は順次処理されていることを示します。問題を引き起こしているGILハンドオフだった場合は、次の起動前に完了するまでに1つのスレッドが少し遅れている（1つのスレッドはいくつかの作業を完了し、次にもう1つはもっとやるなど） 。これにより、サーバー側で問題が発生し、サーバーは追加接続を処理する前に完了要求を処理します。

精神的なデバッグで刺し傷をとると、サーバコードに睡眠を追加することで、おそらくacceptの返品後に、サービスを提供するスレッドを開始する前に、5秒のリクエスト時間を実装しましたか？または、サーバー上でスレッドを使用しないでください。

Answer 2

Pythonスレッドが遅いです！ Pythonには、内部へのアクセスをシリアライズするためにmutexを使用するGIL（Global Interpreter Lock）があります。 GILを持たないJythonを見て、マルチプロセッサシステムを完全に活用することができます。