daskはタスクを2回処理します

私は、ダスクグラフのタスクが別のワーカーによって何度も実行できることに気付きました。daskはタスクを2回処理します

また、私は（それが回復力に関連することができるかどうか分からない）スケジューラ・コンソールでそのログを参照してください。

「WARNING - 失われた接続へ...結果を送信中：ストリームが閉じです"

daskが別のワーカーで同じタスクを2回実行するのを妨げる方法はありますか？私が使用している

注： DASK 0.15.0 分散1.15.1

Thxを

ベルトラン短い答えは "ノー" である

2017-06-14 Bertrand

。

Daskは、あなたの関数を何度も呼び出す権利を留保します。これは、ワーカーがダウンした場合や、Daskがロードバランシングを行い、クラスタの開始時に同時にクラスタの一部のタスクを移動した場合に発生する可能性があります。

def turn_off_stealing(dask_scheduler): 
    dask_scheduler.extensions['stealing']._pc.stop() 

client.run(turn_off_stealing)

2017-06-14 15:31:09 MRocklin

かなり明確な答え:)です：あなたはかなりの仕事スチールをオフにすることで、複数回実行中のタスクの可能性を減らすことができますしかし

。あなたの助けにThx – Bertrand

答えて