amazon-firehose

-1熱

1答えて

エラー：「コンストラクタAmazonKinesisFirehoseClient（AWSCredentials）は廃止予定です」

AWS Firehose Streamにデータを入れようとしていますが、いくつかの問題があります。その名前の下に間違いなく存在するにもかかわらず、ストリーム名が見つからないというエラーが表示されます。私はまた別のアクティブなストリームを試しました、そして、私は同じ問題を抱えています。私は、このエラーが、コンストラクタが非推奨になっているというエラーと何か関係があるかどうかはわかりません。私が作成し

1熱

1答えて

AWS Firehoseデータ変換の並行処理の制限

私は、さまざまなプロデューサから毎秒何千ものレコードを収集し、それらをAWS firehoseを使用した弾性検索にプッシュする必要があります。また、Firehoseにデータ変換ラムダを使用しています。これは、レコードをFirehoseに戻す前に相当量の計算を行います。ファイアホースは、データがバッファリングされて宛先に配信される前に、バッファリングされた各バッチを非同期的に呼び出すことになってい

0熱

1答えて

Kinesis Firehoseデモにはデリミタがありません。赤方偏移は、それなしで解析することはできません。どちらが間違っていますか？

キネシス、Firehose、Redshiftで最初の学習ステップを経たとき、私はAmazonが「デモデータプロデューサを試してみる」ことがわかりました。実際にはうまくいかないと私は不満を感じました。だから、私は掘りに行った。そして、STL_LOAD_ERRORには、デリミタが期待されていて、レコードの前面が{field:val,field:val}{field:val,field:val}のよ

0熱

1答えて

AWS - クロス口座先の役割が許可されていない、私がやろうとしています何

は、アカウントB. であるElasticsearchに、アカウントAにある消防ホースストリーム間のクロス配信を定義している私は、「クロスアカウントを取得c＃を介してストリームを作成するときに、「宛先の役割は許可されません」。なぜですか？ありがとうございます！

3熱

1答えて

MySQLからレッドシフトに近いほぼリアルタイムのETL

私は、MySQLからデータを抽出し、変換し、ほぼリアルタイムでRedshiftにロードする最も効率的な方法を見つけようとしています。現在、私たちは夜間ETLプロセス（Pentahoを使用しています）が〜40分であり、それをほぼリアルタイム（ミニバッチ1-5分）に置き換えたいと考えています。それを書いて、私はAWS Kinesesにコネクタを持つMySQLのバイナリログ（すなわちhttp://m