スパムストリーミングやflumeでXmlをAvroからKafka、hdfsに変換する

Question

xmlファイルをavroに変換したい。データはxml形式で、最初にカフカのトピックにヒットします。次に、flumeまたはspark-streamingを使用して、xmlからavroに変換し、hdfsにファイルを格納することができます。私はクロウデラの環境を持っています。

avroファイルがhdfsにヒットしたとき、後でそのファイルをハイブテーブルに読み込む必要があります。

私はこれを行うための最良の方法は何ですか？ spark-avro（これはスパークストリーミングなし）のような自動化されたスキーマ変換を試みましたが、spark-avroはデータを変換しますが、ハイブはそれを読み取ることができません。 Spark avroはxmlをdataframeに変換し、次にdataframeからavroに変換します。 avroファイルは私のsparkアプリケーションでのみ読み取ることができます。これを正しく使用しているかどうかはわかりません。

私はavroスキーマに明示的なスキーマを定義する必要があると思います。これについてxmlファイルにどうやって行くのかは分かりません。それは複数の名前空間を持ち、非常に大規模です。

Answer 1

もしあなたがcloudera（flumeを持っているかもしれないので）であれば、morphlineを使ってレコードレベルで変換作業をすることができます。バッチ/ストリーミングを使用することができます。詳細はhereをご覧ください。