stdthread

9熱

2答えて

私はApache Sparkの学習者で、RDDアクションaggregateに出くわしました。どのように機能するのか分かりません。いくつかのいずれかが綴る、私たちは、コードについては、以下の結果に到達しなかったかのステップで、詳細ステップで説明することができ、ここで RDD input = {1,2,3,3} RDD Aggregate function : rdd.aggregate((0

1熱

3答えて

ScalaでSparkプログラミングを行うときにvarが使用されていますか？

それは常に使用されヴァルのように、私はVARスパークプログラムで使用を見ていない。見えますだからこそ裏切っている理由は何か不思議です。私が理解していることは、RDDは不変であり、既存のRDDを変更または更新したくないということです。ありがとう！

0熱

1答えて

titan1.0 + hbase0.98クラスタの設定方法

私はTitan Documentation 1.0を読んでいますが、クラスタ環境の設定方法についてはまだ混乱しています。 1）たとえば、192.168.1.2、192.168.1.3、192.168.1.4にhbaseがすでにインストールされている場合、3台のサーバまたはそのすべてにtitanをインストールする必要がありますか？ 2）タイタン文書を読んだ後、私はまだタイタンサーバーと通信するために

0熱

1答えて

pysparkパイプラインモデルからのモデル解釈

Pipelineモジュールを使用してpysparkにDecisionTreeClassifierを実装しています。これは、私のデータセットに対していくつかの機能エンジニアリング手順を実行するためです。コードは、Sparkのドキュメントからの例のようになります。 from pyspark import SparkContext, SQLContext from pyspark.ml import

3熱

3答えて

KerberosでHBaseを保護するためのsparkアプリケーションの接続方法

Kerberosを有効にしてSparkアプリケーションをHBaseに接続しようとしています。スパークのバージョンは1.5.0、CDH 5.5.2は糸クラスターモードで実行されます。 HbaseContextが初期化されると、それはこのエラーがスローされます。 ERROR ipc.AbstractRpcClient: SASL authentication failed. The most like

0熱

2答えて

スパークとカフカの直接アプローチ

私はApache Sparkで新しく、Spark Streaming + Kafkaインテグレーションの直接アプローチの例（JavaDirectKafkaWordCount.java）を実行しようとしています。私はすべてのライブラリをダウンロードしましたが、私は実行しようとすると、私は、任意の提案 Exception in thread "main" java.lang.NoSuchMethod

2熱

1答えて

Spark Dataframe：マップ関数の次のレコードへのアクセス

タイムスタンプ列を持つDFがあり、この列でソートされています。これを行う方法はありますか？各レコードについて、次のレコードにアクセスして2つの行の間の時間差を計算しますか？ 2つの行が異なるノードで処理される可能性があるため、マップ関数ではこれが可能ではないと私は考えています。ありがとうございました！

1熱

2答えて

kafkaトピックからカッサンドラのテーブルに、スパークストリーミングを使用してjson全体を保存する方法

これは私のjsonデータです。これをkafkaトピックに送信し、spark rdd、を読み込み、cassandraに保存します。 [{ "sensor": "swapSensor", "sendtime": "2016-09-15T11:05:01.000Z", "data": [{ "@context": "Context" }] }] これは私がテーブルの列enti

0熱

1答えて

sparkの2つの異なるデータフレームの2つの列のチェック条件

データフレームに1つの列があり、別のデータフレームに類似のスキーマ列があるとします。コラムにある値をチェックする方法は、共通属性がないので、それらを結合することなく同じかどうかをチェックする方法です。 DF1 serial_nm ABC MNC PQR DF2 ser_nm HGF MNC PQR UIO LOK と私は感謝を助けてくださいが、私はこの val DF3 = DF1.filter

2熱

2答えて

Bluemix spark-submit - Scala jarに必要な資格情報を保護する方法

私はBluemix Spark Clusterに提出するSparkアプリケーションを持っています。 DASHDBデータベースから読み取り、その結果をCloudantに書き込みます。このコードは、SparkとJDBCの両方を使用してDASHDBにアクセスします。 DASHDBデータベースのユーザーID &のパスワードが、引数としてプログラムに渡されます。私はspark-submitを介してこれらのパ