FPT/SCPを使用してファイルをS3にプルするにはどうすればよいですか？

Question

数分ごとにS3へのFPT/SCPファイルに最適な、軽量な方法はありますか？だから、wget/curlが動作する可能性があります。また、カスタムソリューションが動作する可能性があります。多分Javaを使用して状態を維持します。どんなアイデアも参考になるでしょう。

Answer 1

ちょうどs3cmdまたはbotoまたはS3 command-line toolsなどを使用してください。他の多くのオプションがあります。

基本的にS3 APIに投稿しています。 AWSの無数のSDKを使用して、ほぼすべての言語で対応できます。しかし、s3cmdは、軽くて軽いCLIツールです。これはおそらく必要以上のものです。

あなたのコメントは、あなたが少し違ったものを探していることを示唆しています。あなたはS3にEC2たり、ローカルホストからファイルを移動している場合は、

• s3cmdを使用します。ここでは、ファイルの送信元と送信先に基づいて、いくつかの推奨事項です。定期的に実行する必要がある場合は、cron jobと考えてください。以下は5分ごとに実行されます。

  */5 * * * * s3cmd sync --delete-removed my_local_directory/ s3://my-bucket/path/ 
  

• あなたは構文EC2またはローカルホスト、s3cmdを使用しますが、逆にS3からファイルを移動している場合：あなたがあなたのローカルホストからファイルを移動する場合

  */5 * * * * s3cmd sync s3://my-bucket/path/ my_local_directory/ 
  

• をEC2、scpまたはrsyncと考えてください。

Answer 2

S3バケットをローカルパーティションとしてマウントし、S3ファイルをサーバのファイルシステム上に配置して使用できます。 a numberのgoodオープンソースツールがあります。

私の側からは、Amazon S3バケットをマウントするユーザー空間ファイルシステムRioFSを見てみることをお勧めします。プロジェクトの目標と他の同様のツールと比較した主な利点は、シンプルさ、操作の速さ、バグのないコードです。

現在のところ、プロジェクトは「ベータ」状態ですが、いくつかの高負荷ファイルサーバー上でかなりの時間稼働しています（RioFSは、ftp/sftpサーバーへのS3ファイルのアクセスを提供しています）。

私たちはプロジェクトの周りにコミュニティを構築しており、将来の計画について話し合い、テストに協力するために、より多くの人々がプロジェクトに加わることを求めています。私たちの側からは、迅速なバグ修正を提供し、新しい機能を追加するというあなたの要求に耳を傾けます。

方法-に迅速に：あなたは（あなたがRioFSをインストールしているとAWSACCESSKEYIDとAWSSECRETACCESSKEY環境変数をエクスポートしたと仮定して）次のコマンドを使用して、バケットをマウントすることができ

：

riofs http://s3.amazonaws.com your_bucket_name /path/to/localfolder

（してくださいプロジェクトの説明を参照して、riofs --helpを実行してコマンドライン引数のヘルプを取得してください）

プロジェクトはまだ開発中ですまだいくつかのバグが残っている可能性があります。 期待どおりに動作しないものが見つかった場合は、プロジェクトのGitHubページで問題報告を記入してください。

私たちのコミュニティに参加するのを楽しみにしております。