databricks

0熱

1答えて

でXMLを解析している間、私は私が私が解析できることを知っている <root> <bookinfo> <time>1232314973</time> <requestID>233</requestID> <supplier>asd123</supplier> </bookinfo> <books> <book> <name

0熱

1答えて

Scala Spark Dataframe - 配列列の各行の文字列数を数えます。

私はScalaプログラミングの新機能です。これは私の質問です：各行の文字列数を数えるには？ My DataframeはArray [String]型の単一の列で構成されています。新しい列として追加するには val df = Seq((Array("a","b","c"), 2), (Array("a"), 4)).toDF("friends", "id") // df: org.apache.s

0熱

1答えて

クラスパスの古くなったJar Databricks

Jarを添付してDatabricksでいくつかのコードを実行しようとしています。私が得ているエラーは、クラスパスの時代遅れのJarに関連しています。私は最新のJarをアップロードしましたが、古いバージョンは明らかにクラスパスのどこかにあります。 Databricksでクラスパスにアクセス、表示、編集する方法はありますか？このクラスタを削除して新しいクラスタを構築すると問題は解決しますか？申し訳

3熱

1答えて

配列の配列でカラムを爆発 - PySpark

私はこのようなデータの列を持っている： [[[-77.1082606, 38.935738]] ,Point] 私はそれが似て分割したい：使用している可能性がありどのように column 1 column 2 column 3 -77.1082606 38.935738 Point PySpark、あるいはScala（Databricks 3.0）？私は列を分解する方法を知

0熱

1答えて

Sparkデータセットaggメソッド

私はSparkとdataSet APIを使用していくつかの分析データセットを作成しています。私はいくつかの変数をcalcuatingよどこの部分に持って、それがこのようなものになります。 CntDstCdrs1.groupByKey(x => (x.bs_recordid, x.bs_utcdate)).agg( count(when(($"bc_sub_org_id" === lit(5

0熱

1答えて

XGBoost時代遅れScalaのバージョン

私はdatabricks上xgboost例に沿って従うことをしようとしていますがhere すべては、私が実際のトレーニング部分に到達するまで正常に動作するよう見つからポイント私はエラーを取得します。スタックトレースはかなり短いですので、私はここに貼り付けます： java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Obje

0熱

1答えて

UDFを使用しないSparkデータセットの加重平均

誰かがすでにWeighted Average in Sparkの計算について質問していますが、この質問ではRDDの代わりにデータセット/データフレームを使用することをお勧めします。 Sparkで加重平均を計算するにはどうすればよいですか？私は2つの列があります。私はこのような加重平均を計算できるようにしたいと思い case class Stat(name:String, count: Int, a

-1熱

1答えて

複数のRowTagsを持つSparkのXMLファイルを読む

3つの異なるRowTagsを持つ巨大なXMLファイルをApache Spark Dataframesに読み込みたいと思います。 RowTag = XML要素。これはSparkで行として解釈されます。タグは唯一のため、rowTagの時間を読むために提供しています XML-スパーク（https://github.com/databricks/spark-xml）が重複していない別のデータ構造が含ま

1熱

1答えて

Databricks Spark Conf

ここで愚かな質問を申し訳ありませんが、私はスパークコネクタ、特にMongo Sparkコネクタの設定を変更しようとしています（コネクタを私たちのセカンダリに接続する必要がありません）。変更を加えるためにSparkConfにアクセスするにはどうしたらいいですか？私はDatabricksとPython、v2.1を使用しています私はhttps://docs.mongodb.com/spark-conn

1熱

1答えて

DatabricksでScalaからPythonに変数を渡す

初心者の質問で申し訳ありませんが、私はDatabricksを使用しており、同じScalaノートブック内でScalaからPythonにデータフレームを渡そうとしています。私が使用してスパークするためにはPythonからのデータフレームを渡さ： %python python_df.registerTempTable("temp_table") val scalaDF = table("temp