Sparkデータフレームに欠損値を入力してください

Question

PySparkを使用してsparkデータフレームに欠損値を埋めようとしています。しかし、それを行う適切な方法はありません。私の仕事は、前の行または後の行に関していくつかの行の欠損値を埋めることです。具体的には、ある行の0.0の値を前の行の値に変更し、ゼロ以外の行では何もしません。私はsparkのWindow関数を見ましたが、max、min、meanのような単純な操作しかサポートしていませんが、これは私の場合には適していません。指定されたWindow上でユーザ定義の関数をスライドさせることができれば最適です。 誰か良いアイデアはありますか？

Answer 1

Spark window APIを使用して前の行データにアクセスします。時系列データを扱う場合は、missing data imputationのthis packageも参照してください。