このようなRDDは2つあります。 - RDD1要素は[123,456,789]のようになり、RDD2タプルは[456、999]のようになります。ここでは、RDD1の2番目の要素である456とRDD2の最初の要素である2つのRDDを結合/結合する必要があります。最終的な出力は次のようになります。 - [123、456、789、999]。これを行う方法や、キーが結合の最初の場所にある必要があるのでしょうか? お時間をいただきありがとうございます。キーが同じ場所にないときに2つのRDDに参加する
1
A
答えて
0
RDDをDataframeに変換し、次に示すように簡単な結合を行うことができます。
rdd1 = sc.parallelize([(123, 456, 789)])
rdd2 = sc.parallelize([(456, 999)])
df1 = rdd1.toDF()
df2 = rdd2.toDF()
result = df1.join(df2, df1['_2'] == df2['_1'])
result.rdd.map(lambda x: (x[0],x[1],x[2],x[4])).collect()
[(123, 456, 789, 999)]
+0
このコードをこのRDDがtoDF関数でなければならないかどうかをチェックします。これは、print hasattr(RDD1、 "tdDF")です。これらがすでにRDDの場合は並列化する必要がありますか? –
+0
私はscalaコードを貼り付けました。私はPythonバージョンを再投稿させます –
+0
@DigvijaySawantはpysparkバージョン –
関連する問題
- 1. Apache Spark:異なるパーティショナーと2つのRDDに参加する
- 2. 2つの特別なRDDに参加するには?
- 3. Apache Sparkで2つのRDDに参加する
- 4. 2つのコンポーネントを同じ場所に置く方法
- 5. 同じ地図上に2つ以上の場所を表示
- 6. SparkでScalaを使用して2つのRDDに参加
- 7. 同じプライマリキーを参照する2つの外部キー
- 8. 同じrddの計算に依存してrddに要素を追加する
- 9. 同じ場所で同じエントリの2つのリストを比較する
- 10. ランダムな画像2つの場所同じセット
- 11. GoogleマップとGoogleマップの場所を同じページに参照する方法
- 12. Sparkの機能に基づいて共通鍵を使用しない2つのRDDに参加する
- 13. 2つの外部キーが同じテーブルを参照しています
- 14. GoogleマップAPI V3 - 同じ地図上にマーカーを持つ2つの場所
- 15. ajaxのソースは他の場所(同じサーバーにない)のhttpファイルにすることができますか?
- 16. Kohanaの同じテーブルに2つの異なる外部キーを持つテーブルを参照するORM
- 17. C#のデータテーブルが2列に参加し、同じ名前
- 18. 同じアプリ内購入をアプリ内の2つの異なる場所に表示できますか?
- 19. アクセスデータベース - 同じプライマリキーに関連する同じテーブル内の2つの外部キー
- 20. 2つの大きなクエリに参加するには?ここ
- 21. Mysql - 同じサーバ内の異なる場所にある2つのデータベースにアクセスする
- 22. ヒストリ - テキストを所定の場所にスクロールする(上矢印 - >場所にあるコマンドは同じだが同じ場所)
- 23. CFScriptを使用している場合、同じクエリー内の2つの場所で同じcfqueryparamを使用できないのはなぜですか?
- 24. rails5のpostgresのテーブルに同じテーブルの主キーへの参照を2回追加するには
- 25. 2つのxs:複合キーと同じキーですか?
- 26. に基づいて2つの異なる配列をマージし、同じキー
- 27. git、別のリモートと同じ場所にリモートブランチを作成する
- 28. 同じ名前と同じIDの3つの場所にあるテーブル内のリンクをクリックする方法
- 29. Oracle SQL 2つの同様のクエリに参加する
- 30. Typo3:powermailer:同じページの別の場所に1つのフォーム
したがって、RDD1は3要素のタプルで構成され、RDD2は2要素のタプルで構成されますか? –
はい..正しいです。これらの2つのRDDを4つの要素のタプルに結合し、次にこの最後の要素に基づいて最終結合RDDを減らす必要があります。 –