EFSマウントファイルでETLジョブを実行できるかどうかを知りたい場合 どうすればよいですか?それはHiveやその他のサービスを使用していますか? 1つのマウントポイント内のすべてのファイルを1つのファイルに縮小し、その1つのファイルをs3に格納して処理します。AWS EFSでETLジョブを実行できます
答えて
EFS自体には固有のデータウェアハウス製品が含まれていません。データウェアハウジングとETLの場合、AWS環境で動作する使用するものを選択することができます。
オンに問題があります: 正しく理解すれば、現在EFSマウント内にあるすべてのファイルを1つのファイルに連結したり、何らかの形で結合してS3に格納したりしたいとします。
あなたはどのような種類のデータを持っているのか、どの種類のファイルを結合したいのかは言及していません。それはあなたがこれをやる方法に大きな違いをもたらします。だから私は一般的な提案をしなければならないでしょう。異なる種類のデータがある場合、異なるデータベース、ドキュメント、非SQLデータからのSQLテーブル。そのデータをどのように組み合わせるかを決定する必要があります。そのためには、生データに対応できるデータ統合ソリューションを検討する必要があります。
Amazonには、Redshift、Athena、Snowflake、ETLソリューションの接着剤などのプロセスを支援するいくつかの製品があります。製品を追加することは、企業のニーズと予算によって異なります。
したがって、より柔軟なデータ統合アプローチは、ETLの代わりにELT(抽出、ロード、変換)を使用することです。基本的には、S3インスタンス上に適切なファイルを作成します。次に、EFS上の各ファイルを一度に1つずつ抽出してS3ファイルにロードします。 S3ファイルのデータをクエリすると、クエリ結果を見る前に必要な変換が実行されます。相違点を詳しく説明した記事はhttps://blog.panoply.io/etl-vs-elt-the-difference-is-in-the-howです。
Talend、Hadoop/Hive/Spark、Terradata、InformaticaなどのELTプロセスをサポートしているベンダーがあり、オプションの調査が必要な場合があります。
- 1. スパークETLジョブは一度だけmysqlを実行します
- 2. AWS自動スケーリンググループ&EFS
- 3. AWS EFSのウェブサイトをホスティング
- 4. Windows Server 2012のAWS EFS
- 5. Magento cronジョブがAWSインスタンスで実行されていません
- 6. informatica powercenterとカスタムperl ETLジョブ?
- 7. タイムベースでジョブを実行できるサービス
- 8. ローカルクラスタのようにEMR上でジョブを実行できますか?
- 9. データパイプラインを使用したAWS EFSバックアップ
- 10. AWS EFS MongoDBレプリカセットを使用したエラスティックファイルシステム
- 11. OutputTagsでジョブを実行することができません
- 12. マスタージェンキンはリモートジェンキンでジョブを実行できますか?
- 13. UIスレッドでquartz.netジョブを実行できますか?
- 14. Laravelはペイロードに「ジョブ」プロパティを持たないジョブを実行できますか?
- 15. EMRジョブを実行するための最小AWSポリシー要件
- 16. バックグラウンドでジョブを実行
- 17. symfonyでcronジョブを実行
- 18. oozieでsparkジョブを実行できません
- 19. は、HadoopでMapReduceジョブを実行できません。
- 20. ETLツールの移行:パラレル実行のベストプラクティス
- 21. GNU並列でAWSジョブを実行する - 秘密鍵を含めるには?
- 22. AppArmorをAWSで実行できますか?
- 23. Quartz Schedulerはジョブを連続して実行できますか?
- 24. cronジョブをランダムに3〜6分実行できますか?
- 25. cronジョブの代わりにバックエンドスクリプトを実行できますか?
- 26. map/reduceでETLを実行する方法
- 27. ブラウザでAWS/EC2サーバーを実行できません
- 28. TFSでAWS Powershellツールコマンドレットを実行できません。ポストビルドスクリプト
- 29. AWS Ubuntuでmongodをサービスとして実行できません
- 30. 実行するcronジョブがでcrontabジョブを実行</p> <p>...