2016-05-19 12 views
1

私のセットアップをテストして、hdfsのデータをsql DBに移動する必要があります。つまり、mapreduceジョブが完了すると、ActivMQメッセージが送信されます。 Sqoopを使ってActivMQメッセージを受け取ったら、自動的にsqlに移動する必要があります。これを達成する方法を手助けできる人もいます。hdfsからsqlへデータを移動

MQ & Sqoopが一緒に動作するかどうかを誰かに教えてもらえますか?

+0

SQL Serverが存在する場所にMicrosoft BIがインストールされていますか?私はHDFSソースがSSISを使用してデータをプルするために指定できることを知っています – mhn

+0

返信ありがとう... Microsoft BI ..私は決して知らない... HDFSからSQLデータベースにデータを移動する必要があります。場所(自動)。 – VijayReddy

+0

毎分実行する簡単なバッチを書くのはどうですか?私が過去に使用した簡単なアプローチの1つは、スイッチ変数 "switch = off"を持つファイルを用意することです。正常に完了したらmapreduceの仕事はこれを "swith = on"に変更することができます。 – mhn

答えて

0

私はユースケースについて完全には明らかではないよ...ありがとうございましたが、マップ-減らす仕事ができcomplete.Youしたらあなただけが開始されますOoizieワークFlow.The Sqoopジョブを設定することができます実際にはOozieを使用して複雑なDAGを作成します.Oozieワークフローは、リモートJavaクライアントから呼び出すことができます。 これが役に立ったと思います。

関連する問題