Talendを使用してCassandraからSQLにデータを転送中

Question

CassandraからSQLへのデータ転送にTalendオープンスタジオを使用しています。 Talendジョブを使用してデータを読み取っているときに、データが失われることがあります。そして私たちは同じことについて何かエラーを見つけることができません。 Cassandra System/Debug Logでも非常に限られた情報しか表示されません。このデータ損失を避けるためにCassandraまたはTalend Openスタジオで設定できる設定はありますか？

注：私たちは5Mレコード/時を扱っており、約1％のデータ損失がありません。これは一貫した問題ではなく断続的な問題です。

Answer 1

このような状況で、私はtalend内でelasticsearchに投稿するJavaルーチンをいくつか書いています。あなたが持っているtalendのバージョンに応じて、これはtalendと一緒に来ます。また、ElasticとKibanaを使用して大規模なデータセットでログベースの分析を非常に簡単にします。しかし、鍵は、Javaルーチンを使ってtjavarowを使って成功と失敗を記録することです。