Pythonでスレッドと組み合わせてサブプロセスを使用する効率

Question

私はPython 2.7を使用しています。私は、スレッドがsubprocessモジュールを使ってコマンドを起動するマルチスレッドプログラムを持っています。プロセスはシステム上で実行され、時々スレッドにデータを報告します。プロセスの大部分はプロセスで実行されます。スレッドは、プロセスから情報を取り出し、ファイルに書き込むだけです。

私は、Pythonでのマルチスレッドの使用には制限があることを理解します。しかし、この場合は、システムによって実行されるすべての重労働が予想されます（Linux）。これは、起動されるサブプロセスがCPUを集中的に処理するためです。したがって、スレッドは負荷を持ち運ぶ必要がないため、ボトルネックになってはいけません。

私はスレッドとサブプロセスをPythonで正確に使うことを理解していますか？これらの異なるサブプロセスは異なるコア上で動作することができるというのが私の理解の基本的な部分だと思うので、スレッドが1つのコアにバインドされていても、プロセスは効率的に実行され、

Answer 1

なぜ、サブプロセスはデータ処理自体を処理しないのですか？プロセスに物を戻すには、余分なものがあります。context switchesと、シリアル化とデシリアライゼーションのオーバーヘッドが必要です。これは、メインプロセスに戻す作業が多い場合に重要になります。このペナルティを支払うのではなく、サブプロセスでスレッドを使用する方が簡単かもしれません。

ただし、重要な点があります。 I/Oバウンドコード（ファイルの書き込み、ソケット上のデータの送受信など）はグローバルインタープリタロックのボトルネックにはなりませんが、CPUにバインドされたタスクは実行されます。スレッドの問題の詳細については、Jesse Noller's blog post on threadsおよびthe Python Wiki's article on the GILを参照してください。