マップとudfの相違点

Question

私はSparkでDataFramesを操作するとき、DataFrameの特定の列の値だけを編集する必要があることがあります。たとえば。私のデータフレームにcountフィールドがあり、countのすべての値に1を追加したい場合は、DataFramesの機能を使用してジョブを実行するカスタムudfを書くか、map結果のRDDから別のDataFrameを抽出します。

私が知りたいのは、udfが実際にどのようにフードの下で動作するかです。この場合、map/udfを使って比較してください。パフォーマンスの違いは何ですか？

ありがとうございます！

Answer 1

mapは、udfよりも柔軟です。 mapでは、行内で操作できる列の数に制限はありません。データの5列の値を導出し、3列を削除したいとします。 withColumn/udfを5回実行し、次にselectを実行する必要があります。 1 mapの機能では、このすべてを行うことができます。