8

私は最近Scalaを学び始めました。私はScalaを改善するプロジェクトの一種としてグラフを使用していましたが、うまくいきました。グラフアルゴリズムを簡単に並列化することができました。並列化)並列コレクションのScala 2.9の驚くべきサポートのおかげで、クラスタにScalaを配布していますか?

しかし、これをさらに進めて、1台のマシンだけではなく複数のマシンに並列化したいと考えています。 Scalaは並列コレクションのようにこれを行うためのきれいな方法を提供していますか、アクターについての私の本の章になるまで待たなければなりませんか/ Akkaについてもっと学びますか?

ありがとうございます! -kstruct

答えて

11

distributed collections(現在プロジェクトがフリーズしています)を作成しようとしました。あなたはすでに述べてきたこと、または本格的なクラスタエンジン、それはない並列コレクションいかなる意味においても、よりクラスタを配布するなどのです:

代替は(Akka Cluster最近本当にクール追加しました)アッカだろうHadoopの場合はScoobiStorm、さらにはSpark(具体的には、グラフ処理ではBagel)など、何らかの方法でタスクに使用できます。 また、区切られた継続の上にビルドされたSwarmもあります。 最後に、Menthor - 特に、グラフ処理に適しており、アクターを利用していると主張する作者です。

グラフで作業することを目指しているので、最近twitterで公開されたCassovaryを見ることも考えられます。

Signal-collectは、Akkaでバックアップされた並列データ処理のフレームワークです。

+0

Hadoopの[Scrunch](https://github.com/cloudera/crunch/tree/master/scrunch)もチェックしてください – dhg

+0

[Scalding](https://github.com/twitter/scalding)もあります。 )for Hadoop –

+0

ああ、私はcassovaryをチェックアウトしました。本当に涼しいです。 – adelbertc

2

あなたはアッカ(http://akka.io)を使用することができます - それは常にScalaのための最も先進的で強力な俳優と並行処理フレームワークとなっている、と焼きたてのバージョン2.0には、素敵な透明actor remotinghierarchiessupervisionすることができます。並列計算を行う標準的な方法は、アルゴリズム内に並列部分があるように多くのアクターを作成し、オプションで複数のマシンに分散し、処理するデータを送信してから結果を収集することです(here参照)。

関連する問題