スパーク匿名関数バイトコード

私はこれらは、このようなスパーク匿名関数バイトコード

org.apache.spark.rdd.RDD[String] = MapPartitionsRDD[238]としてスパークシェル環境で[238]として作成された匿名クラスのバイトコードを参照するための方法であるかどうかに興味があります。

出典

2016-11-28 Tuan Do

なぜバイトコードが必要ですか？あなたは何を達成しようとしていますか？ –

その理由は、ほとんどが好奇心です。 SparkのWeb UIでDAGSchedulerをチェックすると、たった1つの単純な '.map'のために3つの匿名クラスの連鎖が得られることがあります。これらの匿名のクラスをリストするのは、それ以上の詳細を与えることなくかなり役に立たないような気がします。 –

MapPartitionsRDD[238]は、このコンテキストで作成されたRDDが239番目（0から始まる数値）であることを意味します。匿名クラスが作成されたということではありません。

SparkContextは、このコンテキストでRDDの数に関する情報を保持します

出典

2016-11-29 23:15:31

スパーク匿名関数バイトコード

答えて

関連する問題