Spark RDDから空のパーティションを削除します

Question

私はHDFSからデータを取り出してSpark RDDに保存しています。 Sparkは、HDFSブロックの数に基づいてパーティションの数を作成します。これにより、配管中に処理される多数の空の区画が生じる。このオーバーヘッドを取り除くために、RDDからすべての空のパーティションを除外します。私は合体と再パーティションを認識していますが、すべての空のパーティションが削除されるという保証はありません。

これについて他の方法はありますか？

Answer 1

RDDから空のパーティションを削除する簡単な方法はありません。

​​3210は、空のパーティションが削除されることを保証しません。 40個の空のパーティションと10個のパーティションのデータを持つRDDがある場合は、rdd.coalesce(45)の後も空のパーティションが残ります。

repartitionメソッドは、すべてのパーティションにわたってデータを均等に分割するため、空のパーティションはありません。 50個のブランクパーティションと10個のパーティション（データあり）を持つRDDがあり、rdd.repartition(20)を実行すると、データは20個のパーティションに均等に分割されます。