amazon-kcl

0熱

2答えて

いくつかのレコードプロセッサでキネシスシャードのバランスをとるにはどうすればいいですか？

私は現在、Golang版でシンプルなKinesis Client Library（KCL）を作成しています。私が私の単純なKCLに求めている機能の1つは、複数のレコードプロセッサとEC2インスタンスにわたるシャードのロードバランシングです。たとえば、私は別のEC2インスタンスで動作する2つのレコードプロセッサと4つのKinesisシャードを持っています。負荷分散機能により、各レコードプロセッサはキ

1熱

1答えて

AWS KCLでprocessRecordsが失敗した場合の対処方法

私はKCLに基づいてnodejsでアプリケーションを作成しています。 processRecords関数では、kinesisから取得したレコードをHTTPリクエストでWebサービスに送信しようとしました。しかし、Webサービスが利用できない場合、http要求は失敗します。私はキネシスからレコードを取得し、pagerdutyにアラートを送るためにKCLを停止したい。誰でも方法を知っていますか？代わり

0熱

1答えて

Kinesisストリームからtimeseriesデータを処理するオプションは何ですか

デバイスからイベントを収集するAWS Kinesisストリームからデータを処理する必要があります。処理機能は、各10秒間に受信されたすべてのイベントで1秒ごとに呼び出される必要があります。私は、イベントにストリームを書き込む2つのデバイスAとBがあります。私の手順はのMyFunctionの名前を持ち、次のparamsを取ります DEVICEID 期間のためのデータの配列私は10時00分00秒

1熱

1答えて

Amazonのキネシスを使用して、毎秒少なくとも1000メッセージのメッセージを維持する

Amazonのキネシスを使用してメッセージを1000個順番に送信しようとしていますが、キネシスのコンシューマーが受信したメッセージは順不同です。私が試してみましたもの：はSequenceNumberForOrderingを送信するためにputRecord()メソッドを使用します。これで達成される順序付きシーケンスはスループットが非常に低くなります。 putRecordsを送信しましたが成功し

1熱

1答えて

キネシスが複数のシャードからデータを取得する

AWS Kinesisからデータを読み込む簡単なアプリケーションを構築しようとしています。私は1つの断片を使ってデータを読み取ることができましたが、4つの異なる断片からデータを取得したいと思います。問題は、シャードがアクティブである限り、繰り返し実行されるwhileループがあり、異なるシャードからデータを読み取ることができなくなります。これまでのところ、私は代替アルゴリズムを見つけることができず

5熱

1答えて

DynamoDBストリームの伝搬遅延を測定するにはどうすればよいですか？

私はDynamoDB Streams + Kinesisクライアントライブラリ（KCL）を使用しています。イベントがストリーム内で作成されたときと、それがKCL側で処理されたときの間のレイテンシを測定するにはどうすればよいですか？私が知る限り、KCLのMillisBehindLatestメトリックは、Kinesis Streams（DynamoDBストリームではない）に固有です。 approx

0熱

1答えて

キネシスクライアントワーカーロジック

私はIRecordProcessorのprocessRecordsメソッドは、労働者から呼び出されない場合に理解したい。以前のprocessRecords呼び出しがまだ完了していない場合、workerはnext processRecordsを呼び出しますか？作業員はキネシスから新しい記録を取り出すか、現在の記録が終了するまで待ちますか？基本的に私は、DBがダウンしているか、または他のいくつかの

0熱

1答えて

AWS KCL processRecordsが失敗した場合、レコードを再処理する必要があることを「マークする」方法はありますか？

私は彼のAPIがAWS KCLに基づいているAWS DynamoStreamで作業しています。私が処理に失敗したレコードを受け取った場合、そのレコードを後で再処理できるようにしたいと考えています。例えば、私はそれらをリモートDBに保存しようとしていて、いつかネットワークの問題を経験します。私の質問は以下のとおりです。私は示すために、何らかの方法でCheckpointerを使用することができま