クラスjava.lang.OutOfMemoryError Oracleデータベースにデータを保存中

Question

私は約25,000行のExcelシートを持っています。 Excelシートの各行は私のテーブルの行にもなります。私は次のことをやろうとしました。私はbatchSizeを25から50,100,500に変更しようとしました。いずれも動作しません。誰かが私に間違っていることを教えてもらえますか？ JVMのヒープサイズを変更することは私の選択肢ではありません。

public void saveForecast(List list) throws FinderException{ 
    final Session session = getCurrentSession(); 
    final int batchSize = 25; 
    Connection con = null; 
    PreparedStatement pstmt = null; 
    Iterator iterator = list.iterator(); 
    int rowCount = list.size(); 
    String sqlStatement = "INSERT INTO DMD_VOL_UPLOAD (ORIGIN, DESTINATION, DAY_OF_WEEK, EFFECTIVE_DATE, DISCONTINUE_DATE, VOLUME)"; 
    sqlStatement += " VALUES(?, ?, ?, ?, ?, ?)"; 
    System.out.println(sqlStatement); 
    System.out.println("Number of rows to be inserted: "+ rowCount); 
    System.out.println("Starting time: "+new Date().toString()); 
    try{ 
     con = session.connection(); 
     for(int i=0; i<rowCount; i++){ 
      ForecastBatch forecastBatch = (ForecastBatch) iterator.next();    
      pstmt = con.prepareStatement(sqlStatement);    
      pstmt.setString(1, forecastBatch.getOrigin()); 
      pstmt.setString(2, forecastBatch.getDestination()); 
      pstmt.setInt(3, forecastBatch.getDayOfWeek()); 

      java.util.Date effJavaDate = forecastBatch.getEffectiveDate(); 
      java.sql.Date effSqlDate = new java.sql.Date(effJavaDate.getTime());     
      pstmt.setDate(4, effSqlDate);    
      java.util.Date disJavaDate=forecastBatch.getDiscontinueDate(); 
      java.sql.Date disSqlDate = new java.sql.Date(disJavaDate.getTime()); 

      pstmt.setDate(5, disSqlDate);    
      pstmt.setInt(6, forecastBatch.getVolumeSum()); 

      pstmt.addBatch(); 
      if(i % batchSize == 0){ 
       pstmt.executeBatch(); 
       session.flush(); 
       session.clear(); 
      } 
     } 
     pstmt.executeBatch(); 
     pstmt.close(); 
     System.out.println("Ending Time: "+ new Date().toString()); 
    }catch(SQLException e){ 
     e.printStackTrace(); 
     throw new FinderException(e); 
    } 
    finally{ 
     HibernateUtil.closeSession(); 
    } 
} 

}

Answer 1

ループ内に新しいステートメントを作成していますが、ループの終了後に最後のステートメントを閉じるだけです。つまり、実際には25000個のステートメントを作成し、1個だけをクローズして24999個のステートメントをオープンしていることになります。これは、リソースが不足していることに驚くことではありません。

さらに、バッチステートメントを正しく使用していない場合は、ステートメントを一度作成してからパラメータを設定し、addBatchを呼び出し、さらにパラメータを設定し、addBatchをもう一度呼び出すなどしてからexecuteBatchを呼び出します。あなたはバッチですべての値を提出したい

EDIT：。

あなたはおそらくforループと私はセッションフラッシュ/クリアはいずれかが必要です呼び出すとは思わない前のprepareStatementコールを移動することによって、これを修正します。

Answer 2

あなたの主な問題は、すべての単一の行の文を再準備しているということのようです。あなたは文を一度準備する必要があります。これにより、大量のメモリが消費される可能性があります。