繰り返し要素をフィルタリングするRDD

Question

巨大なRDDと私はルールに従ってそれをフィルタリングしたいと思います。私はRDD 2つの要素と私は要因の順序を気にしないので、私はそれをフィルタにすることができますを削除するこれらのを繰り返しペア。

私の入力データは、このようなものです：

{{A,B},{A,C},{B,A},{B,C},{C,A},{C,B}} 

そしてRDDフィルタリングされた出力はこの1つのようになります。

{{A,B},{A,C},{B,C}} 

は、事前にありがとうございます。

Answer 1

タプルの要素をソートするRDDに.mapステップを適用したいと思います。 （A、C）、（A、C）]になります。

その後、すべての一意の値を取得するために.distinctを実行できます。