distributed

0熱

1答えて

私は、1つのノードを実行するためのTensorflowグラフを作成します。しかし、後で同じモデル・グラフを分散環境でトレーニングしたい場合（複数のパラメータ・サーバー間で変数を分割し、n個の作業者の間でグラフを複製する場合）、どうすればいいですか？ tf.Graph.as_graph_def()という名前のものが見つかりました。グラフのプロトをエクスポートし、後でグラフをtf.import_gra

0熱

1答えて

BaskhWebInterfaceがDask Distributedで動作しない

Daskをバージョン0.14.3から0.15.0に更新し、1.16.3から1.17.0に配布しました。 BokehWebInterfaceはこのバージョンから削除されました。ホームページはhttp://localhost:8787に読み込むことができますが、タスク、ステータス、ワーカーにアクセスすることはできません（すべてのタスクが完了してからエラーに達するまでリロードしようとします）。すべてが以

2熱

1答えて

daskはタスクを2回処理します

私は、ダスクグラフのタスクが別のワーカーによって何度も実行できることに気付きました。また、私は（それが回復力に関連することができるかどうか分からない）スケジューラ・コンソールでそのログを参照してください。「WARNING - 失われた接続へ...結果を送信中：ストリームが閉じです" daskが別のワーカーで同じタスクを2回実行するのを妨げる方法はありますか？私が使用している注： DASK

3熱

0答えて

Docker Swarmの発見はまだ関連していますか？

私はdocker swarmについて学んでいて、swarm discoveryオプションについて混乱していました。私はdocker-machineでコンテナを作成するためにこのオプションをインターネットで使用していますが、docker swarm docというドキュメントを入力すると、レガシースタンドアロンSwarmのドキュメントを表示しています。これらのトピックでは、スタンドアロンのDocke

0熱

1答えて

テラコッタmake-boot-jar.shランは

を失敗した場合exec make-boot-jar.sh I取得するには、次のエラー： 2017-06-17 02:12:42,209 INFO - Successfully loaded base configuration from file at '/home/hadoop/terracotta-3.7.7/tc-config.xml'. java.lang.ArrayIndexOutOf

1熱

1答えて

Distributed Tensorflowでのデータ一括処理

私はTensorflowを非常に新しくしているので、私の質問は本当に馬鹿に聞こえるかもしれませんが、実際にここでそれを聞いて適切な説明を見つけることができませんでした。グラフ分散型Tensorflowプログラムでデータのバッチ処理または分散がどのように行われるかを理解するには、あなたの助けが必要です。私たちは、基本的に次のバッチを取得するために同じコードを持つ複数のクライアント、実行しているの

1熱

1答えて

パンダのデータフレームを渡して分散作業者を看過するにはどうすればいいですか？

大きなpandasデータフレームを、関数引数として渡されたdaskのワーカーに渡そうとしています。私は（Xは私のデータフレームで）試してみました： 1機能に直接データを渡す： def test(X): return X f=client.submit(test, X) f.result() 2の保存初期化機能でデータフレーム。 def worker_init(r_X):

1熱

1答えて

特定のDaskタスクに関する情報を取得する方法

分散クラスタが「ハングアップ」しているように見えます。タスクは処理を停止し、未処理のタスクのバックログが蓄積されるため、何が起こっているのかをデバッグするのに役立つ方法を探しています。 ClientにはClientオブジェクトで利用可能なタスクに関する唯一の情報であるAFAICSではなく、各ワーカーで現在実行中のタスクを教えてくれるprocessingメソッドがありますか？私が望むのは、処理タス

0熱

1答えて

Dask分散作業盗用

私はdaskを使用して多数のタスクを配布しています。すべてのタスクは独立しており、外部アプリケーションを実行することになっています。使用するサーバーと入力引数に応じて、タスクを処理する時間が異なる場合があります。特定の時点で、一部のワーカーは処理するタスクがなくなり、他のワーカーが残りのタスクを処理するのを待機します。下記のボケのスクリーンショットを参照してください：「work steali

4熱

1答えて

デフォルトの分散テンソルフロー1.0のスパークにおけるテンソルフローの違いは何ですか？

私は上司から言われたように、サーバにスパークしてテンソルフローをインストールしようとしています。使いやすいと思ったからです。しかし、テンソルフローのウェブサイトでデフォルトの分散テンソルフローも学びました。どのような専門家がこれらの2つのディストリビューションの違いを教えてくれますか？自動的にパラメータサーバまたはワーカーを割り当てますか？ありがとうございます。