HDP 2.5：Spark History Server UIで不完全なアプリケーションが表示されない

Question

新しいHadoop ClusterをHortonworks Data Platform 2.5に設定しました。このリンクがページを開き、新規インストール内

：（HDP 2.4を設置）「古い」クラスタでは、私はリンクshow incomplete applicationsをクリックすることで歴史ServerのUIを介してスパークジョブの実行に関する情報を見ることができましたしかし、常にsax No incomplete applications found!（まだアプリケーションが起動しているとき）。

私はちょうどYARN ResourceManager UIがスパークアプリケーションの状態に依存して「トラッキングUI」欄、内のリンクの二つの異なる種類を示していること、見た：

• アプリケーションの実行：アプリケーションのマスター
  • このリンクはhttp://master_url:8088/proxy/application_1480327991583_0010/
を開きます210
• アプリケーションが終了：歴史
  • は、このリンクは、私が実行しているスパークアプリに関する情報を見ることができる糸RMリンクを介してhttp://master_url:18080/history/application_1480327991583_0009/jobs/

を開きますが、なぜ私は、Sparkの歴史サーバーを経由してアクセスすることはできませんUI？何かがHDP 2.4から2.5に変更されましたか？

Answer 1

私はそれを解決しました。それはネットワーク上の問題でした。クラスタのホスト（スパークスレーブ）の中には、誤ったスイッチ設定のために互いに到達できないものがありました。私はお互いから各ホストにpingを試みたので、それを見つけました。

すべてのホストがそれぞれ別のホストにpingできるので、問題はなくなり、Spark HistoryサーバーのUIでアクティブなジョブと終了したジョブが再び表示されます。

アンバリエージェントが各ホストで動作し、ambari-serverも各クラスタホストから到達可能であったため、私は問題に気付きませんでした。しかし、すべてのホストが互いに到達できるので、問題は解決されます！