2017-08-22 3 views
1

問題
を介して配布DASKを使用してボケサーバーへのアクセス。私はトンネリングを介してマスターノードに接続し、bokehサーバーへのアクセス方法はわかりません。は、私は(MPIからDASKとDask.distributedに移動)画像解析を実行するためにクラスタを設定していますSSHトンネリング

ステップ
接続1. SSHトンネリングを経由して自分のサーバーのマスターノードへ:
ssh -L 7000:localhost:7000 [email protected]
2. [スタート私は(もポート7000でトンネリング)を使用するノードへdask-scheduler --port 7001 --bokeh 7002
3. sshdask-worker --memory-limit=200e9
4. jupyter notebook --port=7000 --no-browserを起動開始し、chromeセッションを開き、を指してlocalhost:7000
5.スタートClient()にブラウザをポイントスケジューラアドレス
が壊れていると私はdask-schedulerページからの出力を見ると、私は私のラップトップ

から、それを使用することはできません私が取得:

distributed.scheduler - INFO - ----------------------------------------------- 
distributed.scheduler - INFO - Scheduler at: tcp://130.237.132.207:7001 
distributed.scheduler - INFO -  http at:    0.0.0.0:9786 
distributed.scheduler - INFO -  bokeh at:    0.0.0.0:7002 
distributed.scheduler - INFO - Local Directory: /tmp/scheduler-4we9jlcj 
distributed.scheduler - INFO - ----------------------------------------------- 
distributed.scheduler - INFO - Register tcp://192.168.0.3:43973 
distributed.scheduler - INFO - Starting worker compute stream, 
tcp://192.168.0.3:43973 
distributed.scheduler - INFO - Receive client connection: Client-6967349a- 
872f-11e7-a595-0cc47a8ebf44 

clientはに正しく接続しているようです労働者:

Scheduler: tcp://130.237.132.207:7001 
Dashboard: http://130.237.132.207:7002 
Workers: 1 
Cores: 56 
Memory: 200.00 GB 

質問
1)ですスケジュールが設定されているport 7001ではなく、ブラウザがport 7000になっていますか?参考:localhost:7001またはスケジューラーとダッシュボードのIPのいずれかを使用すると、ブラウザから何もロードできません。 2)パフォーマンスを評価するためにbokehグラフにアクセスするにはどうすればよいですか?
3)追加のボーナス:私は、このような--memory-limit

感謝としてdask-sshと渡すパラメータを持つ複数のワーカーを起動することができる方法があります!

答えて

0

あなたはボケのダッシュボードをポート7002でホストしているようです。そのポートのための2番目のsshトンネルも設定する必要があります。これは、次のようになります。dask-sshにキーワードを通過する

ssh -L 7002:localhost:7002 [email protected] 
open http://localhost:7002 

良いアイデアのように聞こえます。私はopening an issueをお勧めします。時間があれば、おそらくプルリクエストです:)

+0

素晴らしいです!ありがとう!私は問題を開くでしょう! – s1mc0d3

+0

私は昨日これをやろうとしていました(dask-sshでキーワードを渡してください)。それを追加してPRを作成するためのメモを作成します。その間に、いくつかのワーカーを立ち上げるための他の "クイック"な方法があります+ bokehポートを指定しますか? – zenlc2000

+0

ほとんどの人は、このようなタスクを簡単にする、これのための仕事マネージャー(Marathon、Kubernetesなど)を使用しています。 SSHのような手動の方法を使用している場合は、cluster-sshのようなツールを試してみることもできます。 – MRocklin

関連する問題