Hadoopと電子商取引ポータルの統合

Question

新しいeコマースポータルをJava Restサービスを使用してゼロから構築しています。現在、MySQLを使用する予定です（現在は将来的にはOracle）。 ElasticSearchも使用しています。私たちはマイクロポータルとしてこのポータル全体を構築しています。私の質問は、最初から（ハープとHDFSの統合のような）分析を担当する必要がありますか？

Answer 1

特異関係データベースはうまく動作しますが、スケールが悪くなります。特に大規模なWebサービスの場合。

データ取得ボリューム/サイズを測定して、Elasticsearchの上にバッチ分析用のHadoop（具体的にはHDFS）が必要かどうかを判断する必要があります。しかし、おそらくそうではない。スタンドアロンのApache Sparkクラスタを使用して、Elasticseachに対して直接的に動作させることができます。

ただし、use Kafka as a message bus between your JDBC compatible database as well as loading an Elasticsearch indexでもかまいません。スパークストリーミングはカフカと素晴らしい作品です。

また、Hadoopをミックスに追加する場合は、同じデータをKafkaから引き出してHDFSディレクトリに書き込むことができます。

カフカ経由のマイクロサービス通信についてのブログがたくさんあります