S3からPostgreSQLにデータをロードする方法RDS

Question

S3からPostgres RDSにデータをロードする必要があります（約50〜100 GB）AWSデータパイプラインを使用するオプションがなく、同様のものを探していますCOPYコマンドを使ってS3のデータをAmazon Redshiftに読み込むまで

これをどのように達成できるかについてのご意見をお待ちしております。

Answer 1

http://docs.aws.amazon.com/redshift/latest/dg/t_loading-tables-from-s3.html

アマゾンS3上のデータファイルから並行して、テーブルをロードするためにCOPYコマンドを使用します。ロードするファイルは、Amazon S3オブジェクト接頭辞を使用するか、マニフェストファイルを使用して指定できます。

は、次のように接頭辞を使用することによってロードされるファイルを指定するための構文は次のとおりです。

copy <table_name> from 's3://<bucket_name>/<object_prefix>' 
authorization; 

更新

を別のオプションは、S3をマウントしてへの直接パスを使用することですcsvとCOPYコマンド。私はそれが100GBを効果的に保持するかどうかはわかりませんが、試してみる価値があります。ソフトウェア上のオプションのHere is some list

さらに別のオプションは、「名前付きパイプ、described here

そして、ちょうどローカルストレージにファイルをダウンロードし、私はドンCOPYを使用するための最も明白なオプションからファイルやCOPYに一部with something described hereによってS3ファイルの一部を「解析する」ことになります全くカバーしない

また、言及する価値はs3_fdw（ステータスが不安定）です。 Readmeは非常に不器用ですが、s3ファイルにつながる外部テーブルを作成できると仮定します。あなた自身が他の関係にデータをロードできることを意味します。