Sparkと対話するREST API

Question

SparkコンテキストとREST APIを接続しようとしています。だから私の流れは、私は私のUI- nodejsからREST APIに必要な応答を含むsparkコンテキスト（Sparkジョブはハイブテーブルの上で動作します）とやりとりし、UIの表示に戻す必要があるREST APIにリクエストを送ります。これを達成する方法はありますか？ UI < - > RESTのAPI < - >スパーク（HDFS）

Answer 1

あなたはApache Livyを使用することができます。このユースケースのために特別に設計されています。 Sparkクラスタ上のバッチジョブと通常ジョブを制御するために過去に使用してきました。