1
私はSparkをWindowsX64にローカルにインストールしており、展開する前にSparkコードをテストしています。私は、ウィンドウ関数を使用したいと思いますが、それは私にはHiveContextを使用する必要があります。私はMavenで依存関係を設定しましたが、Sparkで実行すると、The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: --------- Hiveが設定されていません。 SparkをHiveContextでローカルに使用するにはどうすればいいですか？私はそれを行う方法について理解可能なガイドを見つけることができませんでした、助けてください！ローカルスパークのハイブ - 設定方法は？
[EDIT] コード：
WindowSpec window = Window.partitionBy(df.col("id")).orderBy(df.col("date").desc()).rowsBetween(0, 10);
Column col = avg(df.col("price")).over(window).as("price");
df = df.withColumn("price", price);
ありがとうございます！
'org.apache.spark.sql.expressions.Window'を使用するためにHiveは必要ありません – Dikei
明らかに、そうするためにはHiveContextが必要です。スパークはHiveフォルダを探しています。 –
コードを投稿する必要があります。 – Dikei