Derbyを使用してバルクデータロードのパフォーマンスを向上させるにはどうすればよいですか？

Question

Derby In-Memory DBを使用しています。私は最初にcsvファイルからいくつかのデータ読み込みを実行する必要があります。今のところ、すべてのcsvファイルをテーブルにロードするのに約25秒かかります。私は時間が短縮されることを願っています。データファイルのために実際にはあまり大きくはありません。

私が行ったことは、derbyの組み込みプロシージャを使用していることです。

{CALL SYSCS_UTIL.SYSCS_IMPORT_TABLE (?,?,?,',','"','UTF-8',1)} or 
{CALL SYSCS_UTIL.SYSCS_IMPORT_TABLE (?,?,?,',','"','UTF-8',0)} 

唯一の特別なことは、あるテーブルのデータが多くの小さなcsvファイルに分割されることがあることです。だから私はそれらを一つずつロードする必要があります。そして私がそれらを一緒に組み合わせることができるかどうかテストしました、それは16秒しかかかりません。ただし、ユーザーが必要とするため、この機能を削除することはできません。

データを読み込む時間を短縮するためにできることはありますか？ログを無効にするか、ユーザ定義の関数/プロシージャを書くか、他の曲を書くことができますか？アドバイスは大丈夫です。

ありがとうございます！

Answer 1

Derbyの代わりにH2を使用し、CSVREAD機能を使用してください。それでも遅すぎる場合は、fast importの最適化を参照するか、CSV toolを直接（データベースを使用せずに）使用してください。免責事項：私はH2のCSVサポートを書いた。