2012-02-24 36 views
2

データのテキストファイルはすべて約20あり、すべて同じ形式であり、すべてのタブが区切られています。これらのファイルはそれぞれ数百メガバイトで、合計で約12億行のデータがあると予想しています。テキストファイルから十億行をOracleに高速にロードする

私の質問 - これらをOracle表にロードするにはどのような方法が最善ですか?私はTOADの組み込みのインポート機能を使ってそれらをロードしようとしましたが、それは1分に約7,500レコードしか実行していませんでした。その率で、私は輸入が完了するまでに非常に長い時間を待っていました。

入力ファイルごとに一度プロセスを開始するのに問題はありませんが、これらをすばやくインポートする方法やアイデアが必要です。

+0

IOがログのボトルネックを起こしているため、ログを書き込もうとすると7,500レコード/分になる可能性があります。 –

+1

sqlloaderのような提供されているコマンドラインインポートツールを試してみてください。 – Thilo

答えて

8

これらのファイルをデータベースサーバーにコピーできると仮定すると、最も効率的な方法はexternal tablesです。データをロードするには、SELECTステートメントを起動するだけです。

+0

+1私はこのコンセプトを常に使用しており、これを試すことを強くお勧めします。 – northpole

関連する問題