multiprocessing

1熱

1答えて

managers.dict()managers.dict()は、プロセス全体で辞書を共有し、スレッドセーフな操作を実行できます。私の場合、コーディネーター・プロセスはそれぞれ、m要素とnワーカー・プロセス（単一のdictキーとの間で読み書き）の共有ディクティクトを作成します。 managers.dict()には、dictのロックが1つ、またはmのロックが1つあります。 mの要素を、共有ディクテー

0熱

1答えて

マルチプロセスができないのはなぜですか？プロセスはgetattrメソッドを呼び出しますか？

say_helloとsay_worldによってgetattr()をmultiprocessing.Processに呼び出そうとしましたが、方法say_worldは実行されていません。どうすればそれを可能にすることができますか？ありがとう。 # -*- coding: utf-8 -*- from multiprocessing import Process import time clas

13熱

1答えて

Pythonのマルチプロセスを使用した通信のためのOSXとLinuxのパフォーマンスの差

私はPythonのmultiprocessingモジュールの詳細を学び、プロセス間の通信のさまざまな手法を評価しようとしています。プロセス間でnumpyアレイを転送するために、Pipe,Queue、およびArray（すべてはmultiprocessing）のパフォーマンスを比較するベンチマークを書きました。完全なベンチマークはhereです。ここでQueueのためのテストの抜粋です： def pro

0熱

1答えて

PythonのProcessPoolExecutorの逆

これは私がまだ解決している私のearlier problemに関連しています。基本的には、ProcessPoolExecutorの逆設計が必要です。ここでは、多くのクエリ処理があり、1つのワーカーは結果を計算してバッチで返します。 1つの共有キューで作業項目を送信するのは簡単ですが、正しいプロセスのすべての結果を正しいスレッドに送り返すための素晴らしいソリューションはありません。

-1熱

1答えて

TensorFlow-GPU + Pythonマルチプロセッシングを使用する場合のバグ？

TensorFlow-GPU + Pythonマルチプロセッシングを使用すると、私は奇妙な動作に気付きました。私はDCGANを実装しています。これにはカスタマイズと独自のデータセットがあります。私はDCGANを特定の機能に調整しているので、トレーニングデータと評価用のテストデータがあります。私のデータセットのサイズのため、Pythonのmultiprocessingを使用して並行して実行し、キ

0熱

1答えて

並行データローダーのためのきれいな、pythonicな方法？

Pythonの3 私は本当にきれいで、ニシキヘビの同時データローダーがどのように見えるか知っていただきたいと思います。私は、メモリに完全に収まるほど大きすぎるデータの重い計算を行う私のプロジェクトにこのアプローチが必要です。したがって、同時に実行し、キューにデータを格納するデータローダーを実装したので、次のデータがロードされている間にメインプロセスが動作するようになりました（&）。もちろん、キュー

0熱

1答えて

Pythonスクリプトの共有メッセージストリームを作成する最も良い方法は何ですか？

私は何をしたいですか：私は単純なメッセージストリームが必要なので、いくつかのスクリプトはそこに結果を送信し、別のスクリプトは結果を取り、いくつかは非同期で動作します。主な問題：私は何が起こっているのか見たいと思っています。何かが壊れている場合は、すぐに修正できます。私はCelery + RabbitMQを使用しようとしました.Argsを持つワーカーを見ることができますが、Flowerを使用してい

0熱

1答えて

joblibの減速の調査

joblibを使用して、カスタムランダムフォレストの実装列を並行して作成しようとしています。タスクは恥ずかしそうに並行しているので、私はスピードアップを得ることがjoblibであまりにも厳しくすべきではないと考えました。ここでは、いくつかのサンプルコードです： class RandomForest(object): def __init__(self, settings, data)

1熱

1答えて

プロット中にPythonマルチプロセッシングがハングアップする

Pythonのマルチプロセッシングモジュールを使用して実行しているコードが、警告またはエラーなしでハングします。私はプロットが生成されるときにそれを絞り込んだと思う。マルチプロセッシングとmatplotlibの間にいくつかの非互換性がありますか？私は、（numpy、scipy、pandasを使用して）Pythonで多数のデータセットを前処理しています。各データセットは、別々のデータファイルの集ま

1熱

2答えて

マルチプロセッシングを使ってPythonで複数の非同期プロセスを実行するには？

マルチプロセッシングを使用して、複数のバックグラウンド非同期関数を実行する必要があります。私はPopenのソリューションを働いているが、それは少し不自然に見えます。例：関数は1対1、無非同期に実行 def worker_email(keyword): print('Before:' + keyword) sleep(10) print('After:' + keywo