0

AWS EMRでスパークアプリケーションを実行しています。このアプリケーションでは、300000列のmllib関数(columnSimilarities)とクロスジョイン操作を実行します。現在のクラスタ構成で、実行時にOut-of-Memoryエラーが発生しました。私の疑問は、ノードの数を増やすか、インスタンスのタイプをアップグレードしてノードの数を同じにしなければならないかどうかです。別のノートでは、どのようにしてマスターノードのメモリサイズを決めるのですか。ありがとう。クロス結合操作のクラスタ構成

答えて

-1

ドライバメモリを増やしてください。例:--driver-memory = 8g

関連する問題