filterPushdownはPySparkの設定ですか？

Question

述語プッシュダウンを提唱しているHortonworkのブログ投稿in this postが出てきました。

私はSpark 1.4のマニュアルでそれを見つけることができません（私が使用しているバージョンです）。これをfalseに設定することについて心配する必要はありますか？それとも既にネイティブ設定ですか？私がこれを変えることができるなら、私はどのようにそれをするのですか？

Answer 1

述語プッシュダウンは、sparkの触媒最適化の一部です。これは自動的に発生します。

たとえば、SQLサーバーからデータフレームを作成し、それからフィルタを実行しているとします。フィルタリングをスパークではなくSQLサーバーで実行すると、パフォーマンスが向上します（ネットワーク上のトラフィック量を減らすため）。 Sparkの触媒エンジンは、JDBCソースが述語のプッシュダウンをサポートしていることを認識し、そうするために式を再編成します。

この記事の特定の例では、ORCソースが、特定のケース（つまり、インデックスを組み込んでいる場合）で述語プッシュダウンをサポートしているとしか言いません。

これは、ケースの99.9％で心配する必要があるものではなく、舞台裏でパフォーマンスが向上するだけです。