私は最も簡単な飼い犬/嵐/トポロジー/ muti-nodeテストを行っています。Apache-stormスーパーノードがマルチノード環境でトポロジを実行しようとすると死んでしまう
すべては問題ありませんが、スーパバイザは最後の段階で停止します(嵐のスーパーバイザがトポロジを実行しようとしたとき)。
私は3つのVM(ubuntu-16.04.2)ホストを持っています。
各ホストが(依存関係を含む)は、同じ環境を有する:
- 飼育係-3.4.10
- アパッチ・ストーム1.1.1
3つのホスト名:
をstorm-nimbus:このid nimbusホスト。
storm-sv-1:これは最初のスーパーバイザです。
storm-sv-2:これは第2のスーパーバイザです。
3つのホストは、/ etc/hostsの同じ構成部分を持っています。
192.168.3.132 zk1.nf.dev st1.nf.dev
192.168.3.130 zk2.nf.dev st2.nf.dev
192.168.3.131 zk3.nf.dev st3.nf.dev
zoo.cfg
...
dataDir=/home/test/1/zookeeper/data/
server.1=zk1.nf.dev:2888:3888
server.2=zk2.nf.dev:2888:3888
server.3=zk3.nf.dev:2888:3888
...
storm.yaml
...
storm.zookeeper.servers:
- "zk2.nf.dev"
- "zk3.nf.dev"
nimbus.seeds: ["st1.nf.dev"]
storm.local.dir: "/home/test/1/storm-local"
...
---テストステップ---
1)は、これら3つのホスト上の飼育係サーバを実行します。 zkCli.shを使用して飼育係の状態をテストします。 3つの飼い葉桶のノードは問題ありません。雨雲ホスト上ストーム雨雲を実行雨雲ホスト上
が2)を実行ストームUI(192.168.3.132)
3)(192.168.3.132)
4)は(UIページで雨雲のステータスを確認しますhttp://192.168.3.132:8080/)。それはいいです。
5)は、UIページでトポロジの状態を確認し光背ホスト(192.168.3.132)
にWORDCOUNTトポロジーを提出してください。それで大丈夫です。
6)スーパーバイザホスト(192.168.3.130、192.168.3.131)で暴風雨スーパーバイザを実行します。
7)uiページでスーパーバイザとトポロジのステータスを確認します。
2つのスーパーバイザがUIページに表示されます。 :すべてのスーパーバイザページでOK
:
"スロット" と "Avaliスロットは" 0ではありません。:OK
「使用スロット」は常に0です。これは問題です。
8)abount 2分のスーパーバイザが
[supervisor.log]
Caused by: java.net.UnknownHostException: storm-nimbus
at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:184) ~[?:1.8.0_151]
at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392) ~[?:1.8.0_151]
at java.net.Socket.connect(Socket.java:589) ~[?:1.8.0_151]
at org.apache.storm.thrift.transport.TSocket.open(TSocket.java:221) ~[storm-core-1.1.1.jar:1.1.1]
at org.apache.storm.thrift.transport.TFramedTransport.open(TFramedTransport.java:81) ~[storm-core-1.1.1.jar:1.1.1]
at org.apache.storm.security.auth.SimpleTransportPlugin.connect(SimpleTransportPlugin.java:105) ~[storm-core-1.1.1.jar:1.1.1]
at org.apache.storm.security.auth.TBackoffConnect.doConnectWithRetry(TBackoffConnect.java:53) ~[storm-core-1.1.1.jar:1.1.1]
at org.apache.storm.security.auth.ThriftClient.reconnect(ThriftClient.java:100) ~[storm-core-1.1.1.jar:1.1.1]
... 13 more
2017-11-11 19:33:40.991 o.a.s.l.AsyncLocalizer Async Localizer [WARN] Failed to download basic resources for topology-id WordCount-1-1510457397
2017-11-11 19:33:40.992 o.a.s.d.s.AdvancedFSOps Async Localizer [INFO] Deleting path /home/test/1/storm-local/supervisor/tmp/f645cbdf-c2d2-493f-917b-7d2e82e84ef5
2017-11-11 19:33:41.019 o.a.s.d.s.AdvancedFSOps Async Localizer [INFO] Deleting path /home/test/1/storm-local/supervisor/stormdist/WordCount-1-1510457397
2017-11-11 19:33:41.023 o.a.s.l.AsyncLocalizer Async Localizer [WARN] Caught Exception While Downloading (rethrowing)...
org.apache.storm.utils.NimbusLeaderNotFoundException: Could not find leader nimbus from seed hosts [st1.nf.dev]. Did you specify a valid list of nimbus hosts for config nimbus.seeds?
at org.apache.storm.utils.NimbusClient.getConfiguredClientAs(NimbusClient.java:111) ~[storm-core-1.1.1.jar:1.1.1]
at org.apache.storm.utils.NimbusClient.getConfiguredClient(NimbusClient.java:57) ~[storm-core-1.1.1.jar:1.1.1]
at org.apache.storm.blobstore.NimbusBlobStore.prepare(NimbusBlobStore.java:268) ~[storm-core-1.1.1.jar:1.1.1]
at org.apache.storm.utils.Utils.getClientBlobStoreForSupervisor(Utils.java:538) ~[storm-core-1.1.1.jar:1.1.1]
at org.apache.storm.localizer.AsyncLocalizer$DownloadBaseBlobsDistributed.downloadBaseBlobs(AsyncLocalizer.java:121) ~[storm-core-1.1.1.jar:1.1.1]
at org.apache.storm.localizer.AsyncLocalizer$DownloadBaseBlobsDistributed.call(AsyncLocalizer.java:148) ~[storm-core-1.1.1.jar:1.1.1]
at org.apache.storm.localizer.AsyncLocalizer$DownloadBaseBlobsDistributed.call(AsyncLocalizer.java:101) ~[storm-core-1.1.1.jar:1.1.1]
at java.util.concurrent.FutureTask.run(FutureTask.java:266) ~[?:1.8.0_151]
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) [?:1.8.0_151]
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) [?:1.8.0_151]
at java.lang.Thread.run(Thread.java:748) [?:1.8.0_151]
2017-11-11 19:33:41.027 o.a.s.d.s.Slot SLOT_6700 [ERROR] Error when processing event
java.util.concurrent.ExecutionException: org.apache.storm.utils.NimbusLeaderNotFoundException: Could not find leader nimbus from seed hosts [st1.nf.dev]. Did you specify a valid list of nimbus hosts for config nimbus.seeds?
at java.util.concurrent.FutureTask.report(FutureTask.java:122) ~[?:1.8.0_151]
at java.util.concurrent.FutureTask.get(FutureTask.java:206) ~[?:1.8.0_151]
at org.apache.storm.localizer.LocalDownloadedResource$NoCancelFuture.get(LocalDownloadedResource.java:63) ~[storm-core-1.1.1.jar:1.1.1]
at org.apache.storm.daemon.supervisor.Slot.handleWaitingForBasicLocalization(Slot.java:413) ~[storm-core-1.1.1.jar:1.1.1]
at org.apache.storm.daemon.supervisor.Slot.stateMachineStep(Slot.java:273) ~[storm-core-1.1.1.jar:1.1.1]
at org.apache.storm.daemon.supervisor.Slot.run(Slot.java:741) ~[storm-core-1.1.1.jar:1.1.1]
Caused by: org.apache.storm.utils.NimbusLeaderNotFoundException: Could not find leader nimbus from seed hosts [st1.nf.dev]. Did you specify a valid list of nimbus hosts for config nimbus.seeds?
at org.apache.storm.utils.NimbusClient.getConfiguredClientAs(NimbusClient.java:111) ~[storm-core-1.1.1.jar:1.1.1]
at org.apache.storm.utils.NimbusClient.getConfiguredClient(NimbusClient.java:57) ~[storm-core-1.1.1.jar:1.1.1]
at org.apache.storm.blobstore.NimbusBlobStore.prepare(NimbusBlobStore.java:268) ~[storm-core-1.1.1.jar:1.1.1]
at org.apache.storm.utils.Utils.getClientBlobStoreForSupervisor(Utils.java:538) ~[storm-core-1.1.1.jar:1.1.1]
at org.apache.storm.localizer.AsyncLocalizer$DownloadBaseBlobsDistributed.downloadBaseBlobs(AsyncLocalizer.java:121) ~[storm-core-1.1.1.jar:1.1.1]
at org.apache.storm.localizer.AsyncLocalizer$DownloadBaseBlobsDistributed.call(AsyncLocalizer.java:148) ~[storm-core-1.1.1.jar:1.1.1]
at org.apache.storm.localizer.AsyncLocalizer$DownloadBaseBlobsDistributed.call(AsyncLocalizer.java:101) ~[storm-core-1.1.1.jar:1.1.1]
at java.util.concurrent.FutureTask.run(FutureTask.java:266) ~[?:1.8.0_151]
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) [?:1.8.0_151]
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) [?:1.8.0_151]
at java.lang.Thread.run(Thread.java:748) [?:1.8.0_151]
2017-11-11 19:33:41.027 o.a.s.u.Utils SLOT_6700 [ERROR] Halting process: Error when processing an event
java.lang.RuntimeException: Halting process: Error when processing an event
at org.apache.storm.utils.Utils.exitProcess(Utils.java:1773) ~[storm-core-1.1.1.jar:1.1.1]
at org.apache.storm.daemon.supervisor.Slot.run(Slot.java:774) ~[storm-core-1.1.1.jar:1.1.1]
2017-11-11 19:33:41.032 o.a.s.d.s.Supervisor Thread-5 [INFO] Shutting down supervisor ce5768f3-787d-4e27-9bb0-857bb1015139
2017-11-11 19:33:41.036 o.a.s.e.EventManagerImp Thread-4 [INFO] Event manager interrupted
私は飼育係のデータと嵐の一時的なデータをクリアしたすべてのテスト時間を死んだ後。
「シードホスト[st1.nf.dev]からリーダーのnimbusが見つかりませんでした。設定nimbus.seedsに有効なnimbusホストのリストを指定しましたか?」
'st1.nf.dev'へのPINGはOKです。スーパーバイザーが 'st1.nf.dev'を見つけることができないのはなぜですか?