どのようにエスペラでスケールアウトするのですか？

Question

私は、ストリーム処理のためにEsper（とStorm）を見てきました。Esperは私が求めているもの、つまり、ロールオーバーの手段、中央値、複雑なクエリなどを正確に実行しているようです。

Esperで複数のインスタンスにスケールアウトする方法を教えてください。

私が理解する限り、Stormは分散処理を処理しますが、Esperではあなた自身で処理しています。

将来的にはこれを行う必要はありませんが、私たちが成長するにつれて、データ量も同様にスケールアウトする必要があります。おそらく私たちはAmazon EC2に導入されるでしょう。

私はEsperアプリケーションに送信する前に、複数のサーバーとシャードのデータを実行する必要がありますか？

これをよりうまく処理する方法はありますか？

-Sajal

Answer 1

あなたは嵐がタプル/イベント・フェデレーションを処理する、とエスパーは、それが与えられたボルトに受信イベントにCEPを処理することを意味し、ボルト内エスパーのインスタンスを実行することができます。

これは嵐のボルトでエスパーを埋め込むことについていくつかのコードと情報を持っています http://tomdzk.wordpress.com/2011/09/28/storm-esper/

しかし... あなたはデータのサブセットを扱う比較的ステートレスエスパーエンジンをサポートしているユースケースを持っている必要があります。

たとえば、都市ごとの平均気温を計算しています。都市フィールドに基づいてshuffleGroupingを使用してタプルを配布しない場合、各Esperボルトは都市ごとに異なるデータセットを持つことができます。

基本的に、このアーキテクチャにコミットする前に、データがストームトポロジでどのように配信されているかを必ず読んでください。

Answer 2

質問から、EsperHAは適切ですか？あなたはそれを見ましたか？

EsperHAは、ゼロ停止時間ESP/CEPイベント 処理のための完全なソリューションです。これはEsperとローカルメモリ内キャッシュを組み合わせ、ディスクまたはデータベースへのオーバーフローとバックアップの機能を備えたクラスタ構成の を組み合わせています。