Pythonのマルチスレッド化MD5チェックサム

Question

私はPythonスクリプトを使用して、指定されたディレクトリを再帰的に処理し、見つかった各ファイルをチェックサムします。次に、すべてのファイルパスとそのmd5チェックサムを一覧表示するログファイルを書き込みます。

これは、15,000個のファイルでそれぞれ50,000個のファイルが処理されるまでに時間がかかります。しかし、私のコンピュータは、実際に使用しているよりもはるかに多くのリソースを利用できます。スクリプトがより多くのリソースを使用してより速く実行できるように、私のアプローチを調整するにはどうすればよいですか？

たとえば、ファイルリストを3番目に分割し、それぞれのスレッドを実行して3xランタイムを与えることはできますか？

私はスレッディングにはあまり慣れていません。ここで

は私のシーケンシャルMD5ループのコードは次のとおりです。事前にあなたの助けを

for (root, dirs, files) in os.walk(root_path): 
    for filename in files: 
     file_path = root + "/" + filename 
     md5_pairs.append([file_path, md5file(file_path, 128)]) 

ありがとう！この種の仕事のために

Answer 1

、私はmultiprocessing.Poolはあなたにあまり驚きを与えるだろうと思う - あなたがスレッドを使用するつもりならhttp://docs.python.org/library/multiprocessing.html

Answer 2

で例やドキュメントをチェックし、あなたのスレッドを最初に開始する必要があり、 Queue.Queueインスタンスから作業をポーリングします。次にメインスレッドで、forループを実行しますが、md5file（..）の代わりにQueue.Queueのすべての引数を押します。 Threading/Queue in Pythonは例がありますが、同様のドキュメントを見て：GIL（グローバルインタプリタロック）あなたのアプリケーションがでmd5.update関数に複数の呼び出しを実行することはないんhttp://docs.python.org/library/queue.html

Answer 3

スレッドは非常に有用ではないでしょう同時。私はあなたのプロセスプールを改善しようと努力し続けます。

Answer 4

並行して並行して、ファイルのまとまりのプロセスを開始します。我々はクラスタ上でこれを行う。あなたは、数十のファイルを作成する何十、何百ものプロセスを持つことができます。その時点で、ディスクIOがボトルネックになります。