処理速度を最大化するためにプレゲルのグラフを分割する方法は？

Question

私はcrowdsourcingアプリケーションを持っています。ユーザーからのデータが収集され、処理された後、全員が参照できるように更新されます。データ収集はほとんどリアルタイムです。ユーザー（データノード）の増加に伴い処理速度が向上しています。私はこれをスケールする必要があります。

グラフベースのモデルのスケーリングを見ると、mapreduceは有名なようです。それを他の技術と比較するベンチマーク論文はありますか？プレゲルは印象的です。プレゲルの「パーティショニング」についての指導を教えてください。つまり、グラフをインテリジェントに分割して、プロセスがお互いに遅れるのを最小限に抑えることができます。

Answer 1

実行時間を最小限に抑えるために「インテリジェントに」グラフを分割する問題は興味深いものですが、単純ではなく、データとアルゴリズムによって異なります。 実際には、必ずしも必要ではなく、ランダムパーティショニングで十分です。

たとえば、Pregelのようなアプローチを検討する場合は、Apache Giraphを見て、さまざまなパーティショニング手法を試してみてください。