Apache SparkでHadoop InputFormatsを使用するには？

Question

私はHadoopにHDFSから画像を読み込むクラスImageInputFormatを持っています。 InputFormatをSparkで使用するには？

は、ここに私のImageInputFormat次のとおりです。

SparkContext

public class ImageInputFormat extends FileInputFormat<Text, ImageWritable> { 

    @Override 
    public ImageRecordReader createRecordReader(InputSplit split, 
        TaskAttemptContext context) throws IOException, InterruptedException { 
     return new ImageRecordReader(); 
    } 

    @Override 
    protected boolean isSplitable(JobContext context, Path filename) { 
     return false; 
    } 
} 

Answer 1

がhadoopFileと呼ばれる方法があります。それはインタフェースを実装するクラスを受け入れる。org.apache.hadoop.mapred.InputFormat

その説明は、「任意のInputFormatを持つHadoopファイルのRDDを得る」と述べています。

Spark Documentationもご覧ください。

Answer 2

質問：画像はすべてhadoopRDDに保存されますか？ Ans：はい、スパークに保存されるものはすべてrddsです

質問：RDDの容量を設定できます.RDDがいっぱいになると残りのデータはディスクに保存されますか？

スパークのデフォルトのストレージレベルは（StorageLevel.MEMORY_ONLY）、スペース効率の良いMEMORY_ONLY_SERを使用します。 sparkのドキュメント>スカラープログラミング> RDD持続性を参照してください

質問：データが大きすぎるとパフォーマンスに影響が及ぶでしょうか？ 回答：データサイズが増加すると、パフォーマンスにも影響します。

PS：スパーク・フレームワークについての質問に言及するとき、クラスタのサイズは、使用しているRAM容量は、次回、それが最良の答えを言って役立つくらいになります言及してください:)