0
AWS EMRでスパークアプリケーションを実行しています。このアプリケーションでは、300000列のmllib関数(columnSimilarities)とクロスジョイン操作を実行します。現在のクラスタ構成で、実行時にOut-of-Memoryエラーが発生しました。私の疑問は、ノードの数を増やすか、インスタンスのタイプをアップグレードしてノードの数を同じにしなければならないかどうかです。別のノートでは、どのようにしてマスターノードのメモリサイズを決めるのですか。ありがとう。クロス結合操作のクラスタ構成