PySparkのWindow関数のパーティションを設定するには？私はPySparkジョブを実行している、と私は、次のメッセージが出てい

Question

：

WARN org.apache.spark.sql.execution.Window: No Partition Defined for Window operation! Moving all data to a single partition, this can cause serious performance degradation. 

メッセージは何を示しんし、どのように私は、ウィンドウの操作のためのパーティションを定義していますか？

編集：

私は列全体をランク付けしようとしています。

私のデータは以下のように構成されています

A 
B 
A 
C 
D 

そして、私が欲しい：

A,1 
B,3 
A,1 
C,4 
D,5 

私は.partitionBy（BYそこべきだと思いません）このため、のみ.orderBy（）。問題は、これがパフォーマンスの低下を引き起こすように見えるということです。ウィンドウ機能なしでこれを達成する別の方法はありますか？

私は最初の列で分割する場合、結果は次のようになります。

私はしたくない

A,1 
B,1 
A,1 
C,1 
D,1 

。

Answer 1

質問に与えられた情報は、せいぜい私はパーティションがウィンドウ関数で定義されるべきかについてsqueletonを提供することができます考える：

OVER (PARTITION BY ... ORDER BY …) 

：

from pyspark.sql.window import Window 

windowSpec = \ 
    Window \ 
    .partitionBy(...) \ # Here is where you define partitioning 
    .orderBy(…) 

これは、以下のSQLと等価です

したがって、パーティションの指定に関しては、与えられた行と同じパーティションにある行が制御されます： フレームを注文して計算する前に、パーティション列と同じ値を持つすべての行が同じマシンに収集されていることを確認することをお勧めします。これ

あなたが任意のパーティションの仕様を与えていない場合は、すべてのデータを単一のマシンに収集する必要があります、次のエラーメッセージ：

WARN org.apache.spark.sql.execution.Window: No Partition Defined for Window operation! Moving all data to a single partition, this can cause serious performance degradation.