あなたのマシン上のすべてのプロセッサを使用するようにプログラムするには？

Question

私はWindowsのボックスで大量のデータ処理を実行するシングルスレッドのPythonプログラムを実行しています。私のマシンには8つのプロセッサがあります。 Windowsタスクマネージャの[パフォーマンス]タブでCPU使用率を監視すると、使用可能な処理能力のごく一部しか使用していないことがわかります。 1つのプロセッサだけが最大限に使用されており、残りのすべてがほとんどアイドル状態です。すべてのプロセッサを確実に使用するためにはどうすればよいですか？マルチスレッドはソリューションですか？

Answer 1

マルチスレッドでは、プロセッサまたはコアを余分に使用することはできません。

新しいスレッドではなく新しいプロセスを生成する必要があります。

このツールは、はるかに私が遭遇しているものすべてのうち最も単純である： parallel python

概要：

PPがSMPにPythonコードの並列 実行するための機構を提供するPythonモジュールであります （複数のプロセッサを搭載したシステムまたは コア）およびクラスタ（ネットワーク経由でコンピュータ ）。

他のpythonソフトウェアとのインストールや統合が簡単です。

PPは

Answer 2

がであると仮定すると、スレッド化は確かに解決策です。特に、処理するデータ項目がたくさんある場合は、すべて処理することができます。これは、並列化するのが比較的簡単です。

複数のスレッドの代わりに複数のプロセスを使用する他の解決方法を教えてください。あなたは本当に言うべき問題について十分に話していません。

Answer 3

マルチスレッドは単一のプロセスに必要ですが、必ずしも解決策ではありません。プロセッサアフィニティは、すべてを使用するのに十分なスレッド以上を持っていても、使用可能なコアのサブセットに制限することができます。

Answer 4

あなたはあなたのプログラムが型である場合python's multiprocessing module

マルチプロセッシングは、それが持っているPythonのコードでそれらのコアのすべてを使用することが可能ですので、GILの問題を回避し、複数のpythonのプロセスを使用して使用して恩恵を受けることことを得ることができます簡単ねじマップと、より複雑なスキーム

がパイソンを平行に類似しているが、ローカルマシンに制限されているとPython 2.6以降で含まれており、Pythonのは、他のよう

Answer 5

をスレッドに比喩的に類似しているための基礎ジョンが言ったことは、あなたが標準のPythonインタプリタでは、マルチスレッドに関する制限を理解する必要があります。スレッドが純粋なPythonでシステムコールを行っていない場合は、Global Interpreter Lockのために複数のプロセッサ上で同時に実行することはできませんので、マルチスレッドへのメリットは最小限に抑えられます。この場合、代わりに複数のプロセスを使用するか、グローバルインタープリタロックを持たないJPythonやIronPythonなどの別のPython実装に切り替えることをお勧めします。

Answer 6

これを行う純粋 Pythonで書かれたオープンソースとクロスプラットフォーム・モジュールです。

タスクを段階または段階に分割します。各ステップは何かを読み、全体の計算の一部を行い、何かを書きます。

"""Some Step.""" 
import json 
for some_line in sys.stdin: 
    object= json.loads(some_line) 
    # process the object 
    json.dump(result, sys.stdout) 

何かがうまくいくはずです。

コミュニケーションが必要な複数のオブジェクトがある場合は、そのオブジェクトの単純な辞書を作成します。

results = { 'a': a, 'b': b } 

このようにパイプラインで接続します。

python step1.py | python step2.py | python step3.py >output_file.dat 

8つ以上の手順で問題を解決できる場合は、8つ以上のコアを使用します。そして、ちょっとしたことで、これは非常に簡単な作業のために驚くほど速くなります。