spark-thriftserver

0熱

1答えて

以下は、4ノードクラスタ内の各ノードの/etc/dse/spark/hive-site.xmlに変更されています。 <property> <name>fs.s3.awsAccessKeyId</name> <value>****</value> </property> <property> <name>fs.s3.awsSecretAccessKey</name

0熱

1答えて

SPARK SQL CREATE VIEW

私は、ビューの作成に最大限の長さがあるように感じました。以下は、私が実行できるSQLクエリです（select文）。私が前に作成ビューを置く場合、サブクエリの列を制限する限り、それは機能します。ビュー自体には1つの列しか含まれません。私はこれを例えば提供しました。私はリサイクルサーバーを通じて自分のSQLを実行しています。この問題を回避する方法はありますか？前もって感謝します！ select p f

1熱

1答えて

ThriftServerでのテンポラリテーブルの登録

私はSparkを初めてお使いになり、Sparkスリフトサーバで一時テーブルとしてデータフレームを登録する方法を理解しようとしています。明確にする、これは私がしようとしているものです：は、マスター上で実行されている（スパークThriftServerにJDBCクライアントから接続をデータフレームを生成するアプリケーションを提出し、一時テーブルとして登録します）、それを登録したアプリケーションが完

1熱

1答えて

スパーク真っすぐクライアントを使用しているときスリフトは、セッション間でスパークスリフトで

をキャッシュを維持し、それが可能である：ユーザーは真っすぐを使用してサーバに接続し、キャッシュされたテーブルを作成します。ユーザーは、ビーライン（別のセッション）を使用してサーバーに再度接続し、前のセッションで作成したキャッシュテーブルを使用できます。私はこのワークフローをテストしました.1ではSpark UIにキャッシュテーブルがあることがわかりました。私が1でセッションを終了すると、テー

0熱

1答えて

スパークシェル

から倹約サーバーに接続できない私は、次のコマンドを使用してスパークシェル経由で倹約サーバーを刺激するために接続しようとしています： val df = spark .read .option("url", "jdbc:hive2://localhost:10000") .option("dbtable", "people") .format("jdbc")

0熱

1答えて

スパークスリフトサーバへのアクセス中にエラーが発生しました

スパークバージョン：1.6.3 私はプロキシとしてスパークスリフトサーバを使用しています。しかし、それは私が期待したほど長く動かない。高負荷になると常に停止します。これはアクセスするとエラーです。 Javaヒープスペースしかし、私は、私は増やす必要があるか、メモリを知らない：私はエラーがjava.lang.OutOfMemoryErrorをある参照 <html> <head> <

2熱

1答えて

スパーク・リフト・サーバーにウェアハウス・ディレクトリへのパスを与える

スパーク・クラスタをセットアップしましたが、Spark SQLコネクタを介してTableauに接続できました。私はスパークシェルからテーブルを作成し、（saveAsTable）を使用してMySQLからデータフレームを保存しました。 Tableauから保存したテーブルにアクセスするにはどうすればよいですか？スパークスリフトサーバーを起動するときに、ウェアハウスディレクトリのパスを指定する必要があり

2熱

1答えて

HiveThriftServer2にカスタムUDF jarを登録するには？

HiveThriftServer2クラスでは、startWithContextとmainを呼び出す間の違いは何ですか？私は登録する顧客UDF jarを持っています。そのため、リフトサーバーが起動するたびに、これらのすべてが自動構成されます。これを行う方法はありますか？ Hiveコンテキストを使用してUDF jarと関数を登録し、HiveThriftServer2.startWithContext

1熱

1答えて

Spark Thrift Serverに接続するためのODBC設定

この質問は繰り返されるようですが、実際にはこれに関連するいくつかの質問がありましたが、正確には同じエラーではないので、誰かが手掛かりデフォルトの設定で動作しているSpark Thrift Serverをセットアップしました。 Sparkのバージョンは2.1でYARN（Hadoop 2.7.3）で動作します実際、SimbaハイブODBCドライバもMicrosoft ODBCドライバもセットアップ