どちらがApache OozieまたはApache Airflowを選択しますか？比較が必要

Question

私はジョブスケジューラを初めて使い、大きなデータクラスタ上でジョブを実行するために探していました。私は利用可能な選択肢と全く混同していました。 OozieにTWS、Autosysなどの既存のものに比べて多くの制限があることが判明しました。

気流と賛否両論の比較ポイントが必要です。

あなたのお手伝いをお待ちしております。

Answer 1

私の経験では、現在のところ、気流は現在最高のデータパイプラインです。複雑で長期間稼動するワークフローを管理するのに最適です。 UIとモダリティが一番上にあります。 +

のDAG

ため

エアフロー

• + Pythonのコード+は、すべての主要なサービス/クラウドプロバイダー用のコネクタ
• +を持ってより汎用性の高い高度なメトリック
• +よりよいUIとAPI
• +非常に複雑なワークフローを作成することが可能
• +神社テンプレート化
• = HDFS、HIVE、PIGなどへ
• =ネイティブ接続...
• =グラフとしてDAG

Oozie

• を並列化することができます--- DAG用のJavaまたはXML
• - 複雑なパイプラインを構築するのが難しい
• - より小さく、より活発なコミュニティ
• - 悪化したWEB GUI
• - JavaのAPI
• =
• =グラフなど... HDFS、HIVE、PIGなどへ
• =ネイティブ接続を並列化することができますDAG

気づいたとおり、AirflowはOozieよりも使いやすく（特に大きなheteregenoeusチームで）、より汎用性があり強力なオプションです。

次のように：気流で行ってください。

Article you may find interesting