複数のcsvを読み込み、マージする方法

Question

私は多くのメモリサイズを持つ39のcsvファイルを持っています。私はこのファイルをJavaでロードし、1つの変数として設定したいと考えています。下の段落は私のコーディングですが、サイズの小さいファイルでは動作しますが、サイズの大きいファイルでは動作しません。ファイルのサイズは通常約100MB〜800MBです。私はディレクトリに39ファイルをロードし、1つの2D配列に入れたいと思います。

public static String readCSV(File csvFile) { 
    BufferedReader bufferedReader = null; 
    StringBuffer stringBuffer = new StringBuffer(); 

    try { 
     bufferedReader = new BufferedReader(new FileReader(csvFile)); 
    } catch (FileNotFoundException e) { 
     e.printStackTrace(); 
    } 

    try { 
     String temp = null; 
     while((temp = bufferedReader.readLine()) != null) { 
      stringBuffer.append(temp+","); // temp 에 저장되어있는 한 줄을 더한다. 
     } 

     System.out.println(stringBuffer); 
    } catch (IOException e) { 
     e.printStackTrace(); 
    } 

    // -10,-9,-8,-7,-6,-5,-4,-3,-2,-1,0,,,,,,,,,,1,2,3,4,5,6,7,8,9,10, 반환 
    return stringBuffer.toString(); 
} 

public static String[] parse(String str) { 
    String[] strArr = str.split(","); // 쉼표가 1개인 것을 기준으로 나누어서 배열에 저장 

    return strArr; 
} 

public static void main(String[] args) throws IOException { 

    //mergeCsvFiles("sample", 4, "D:\\sample_folder\\" + "merge_file" + ".csv"); 


    String str = readCSV(new File("D:/sample_folder/sample1.csv")); 
    String[] strArr = parse(str); // String 배열에 차곡차곡 담겨서 나온다. 
    int varNumber = 45; 
    int rowNumber = strArr.length/varNumber; 

    String[][] Array2D = new String[varNumber][rowNumber]; 
    for(int j=0;j<varNumber;j++) 
    { 
     for(int i=0; i<rowNumber;i++) 
      { 
       String k = strArr[i*varNumber+j]; 
         Array2D[j][i]= k; 
     } 
    }      //2D array 배열을 만들기  

    //String[][] naArray2D=removeNA(Array2D,rowNumber,varNumber); //NA 포함한 행 지우기 





//  /* 제대로 제거 됐는지 확인하는 코드 
    for(int i=0;i<varNumber;i++){ 
     for(int j=0;j<16;j++){ 
          System.out.println(Array2D[i][j]); 
     } 
         System.out.println("**********************NA제거&2차원 배열**********************"); 
    }   
//  */ 

    } 
} 

Answer 1

あなたが言及しているファイルサイズのいずれかが、おそらくrun out of memory in the JVMになるでしょう。

これは（おそらく）です。なぜなら、800個の最大ファイルがメモリにロードされていないからです。その800MBをメモリにロードするだけでなく、使用しているアレイののオーバーヘッドも追加しています。つまり、1600MB + all of the extra overhead cost of each array, which becomes sizeableを使用しています。

どちらの場合でもファイル形式が完全であるという前提で、メモリの制限を超えていることが考えられます。あなたのJVMやメモリ消費量を知りませんし、必要な資産を持っていなくても、これを理解することはできませんが、そうでないかどうかはあなた次第です。

また、私はあなたのコードを正しく読んでいるかもしれませんが、あなたがしたいと思っていることをするようには見えません。たぶん私は間違っている、私は知らない正確に何をしようとしている。