ThriftServerでのテンポラリテーブルの登録

Question

私はSparkを初めてお使いになり、Sparkスリフトサーバで一時テーブルとしてデータフレームを登録する方法を理解しようとしています。明確にする 、これは私がしようとしているものです：

• は、マスター上で実行されている（スパークThriftServerにJDBCクライアントから
• 接続をデータフレームを生成するアプリケーションを提出し、一時テーブルとして登録します）、それを登録したアプリケーションが完了した後でも、一時テーブルを照会します。

これまでのところ、Spark ThriftServerはSparkマスタで実行されていますが、実際には一時テーブルを登録することはできません。

これは可能ですか？私は、HiveThriftServer2.startWithContextを使用してJDBCを介してデータフレームを提供することができますが、アプリケーションを永続的に実行する必要があるため、追加のアプリケーションを起動する必要があります。

Answer 1

重要なアイデアは、すべての一時テーブルをSparkジョブに登録し、最後にこのジョブからSparkThriftServerを開始することです。あなたがリサイクルサーバーを終了するまで、あなたの仕事は継続しています。また、JDBC経由ですべての一時テーブルに対してSparkThriftServerを照会することができます。 Here it is described with example