CsvファイルからDatalakeへデータを自動取得する最良の方法

Question

csvファイルからデータを取得して（毎日別のビジネスデータベースからデータを取り出す）、HDFSに移行してからHbaseに移動し、このデータをデータマート（sqlServer） 。

私は（Javaやhadoopsツールを使用して）、このプロセスを自動化するための最良の方法を知って

必要なコーディングなしにリトル

Answer 1

をご希望ですか？順不同

• のTalendオープンスタジオ
• Streamsetsデータコレクタ
• アパッチNifi

でセットアップあなたにカフカのクラスタを可能と仮定すると、あなたはカフカの接続

したい場合を試すことができますたぶんスパーク。それ以外の場合は、好きな言語を選んでください。あなたは、生のHDFSデータを必要としない場合、あなたは私が再上記のコメントをエコーし​​たいのHBase

Answer 2

に直接読み込むことができOozie

経由でジョブをスケジュールします。 Kafka Connectは、Apache Kafkaの一部です。これで、設定ファイルを使用してソースからストリーミングするだけで、KSQLを使用して派生/豊富/集約ストリームを作成し、HDFS/Elastic/HBase/JDBC/etcなどにストリームすることができます。

リストがありますカフカ接続コネクタhere。

このブログシリーズは、基本を歩く：

• https://www.confluent.io/blog/simplest-useful-kafka-connect-data-pipeline-world-thereabouts-part-1/
• https://www.confluent.io/blog/blogthe-simplest-useful-kafka-connect-data-pipeline-in-the-world-or-thereabouts-part-2/
• https://www.confluent.io/blog/simplest-useful-kafka-connect-data-pipeline-world-thereabouts-part-3/