1
私は最近、RDS MySQLからほぼリアルタイムで、つまり5秒以内にデータを取得する仕組みを構築するように求められました。 ~5分。 Lambda、Flydata、Data Pipelinesを読んだ後、私はAWS Data Pipelineを選択しました。これは、ほぼリアルタイムのデータ取り込みに関して、多くのフォーラムでその名前が挙げられています。AWS DataPipeline Schedulingの最小間隔15分間の論理は何ですか？
AWSデータパイプラインでは、スケジュール設定オプションを選択して2分ごとに実行するようにジョブをスケジュールできます。
ここで醜い部分です。 それはまた私に間隔期間を設定するように頼んだ！は15分より大きくなければなりません。それはなぜだろう？それはリアルタイムに近いと思われますか？ 私はパイプラインを走らせました。 （15分間隔の設定後）
どのようにリアルタイムに近いと思いますか？私はAWSがほぼリアルタイムで秒以内に、または少なくともを意味していることを認識していますか？分ですが、15-17分は私にとって大きなセットバックです。誰かがその問題をどうやって解決するか教えてもらえますか？私は複数のパイプラインをスケジュールし、前提条件を設定することを考えましたが、うまくいくかどうかはわかりません。 助けてください...
これは読んでいますか？ https://blogs.aws.amazon.com/bigdata/post/Tx37EJ2IDFXITB2/Introducing-On-Demand-Pipeline-Execution-in-AWS-Data-Pipeline –