2016-06-13 5 views
4

で複数の列によってパーティショニング次のように、私は、私のデータのクエリを実行するために複数の列で分割する必要があります。スパークSQLのウィンドウ関数でスパークSQL

val w = Window.partitionBy($"a").partitionBy($"b").rangeBetween(-100, 0)

私は現在、(テスト環境を持っていませんこれについては設定作業を行っていますが、すぐに質問としてSpark SQLのウィンドウ関数の一部としてサポートされていますか?

答えて

8

これは機能しません。 2番目のpartitionByは最初のものを上書きします。両方のパーティション列を同じ呼び出しで指定する必要があります。

val w = Window.partitionBy($"a", $"b").rangeBetween(-100, 0)