2016-09-26 3 views
0

私はapache igniteとsparkの新機能です... いずれかの方法で、ignite rddをscalaのspdd rddに変換することができます。apache ignite rddをscalaのspdd rddに変換することは可能ですか?

更新---- ユースケース: 私はHBaseのテーブルのデータフレームを受信します..私は、それからレポートを作成するためにいくつかのロジックを実行するのIgnite RDDに保存...と同じ発火のRDDますでしょう各テーブルごとに更新する...すべてのテーブルが最後に実行されたらignute rddはsparkまたはjava rddに変換され、最後のルールはそのrddで実行されます...そのルールを実行するにはrddをデータフレームに変換する必要があります。そのデータフレームはハイブの最終レポートとして保存されます...

+0

https://github.com/apache/ignite/tree/master/examples/src/main/scala/org/apache/ignite/scalar/examples – Shankar

+0

ご利用のケースは何ですか?既存のSparkアプリケーションをお持ちでない場合は、IgniteRDDの代わりにネイティブIgnite APIを直接使用する方がよい場合があります。 –

+0

私は質問を..ユースケース – Kalpesh

答えて

1

変換するとどういう意味ですか? IgniteRDD is a Spark RDDは、技術的にはRDD特性のサブタイプです。

スパークは内部で多くのタイプのRDDを持っています:MappedRDD、HadoopRDD、LogicalRDD。 IgniteRDDは、可能なタイプのRDDの1つだけであり、いくつかの変換の後、他のRDDタイプ、すなわちMappedRDDによってもラップされる。あなたはまた、独自のRDDを書くことができ

:) documentationから

例:

val cache = igniteContext.fromCache("partitioned") 
val result = cache.filter(_._2.contains("Ignite")).collect() 

キャッシュRDDを濾過した後、タイプが異なるものになります - IgniteRDDはFilteredRDDにラップされます。しかし、それはまだRDDの特性の実装です。コメントの後

更新:

  1. まず、あなたは暗黙をインポートしましたか?それはまだ、あなたを助けてくれDATAFRAMEとコード例を作成中に取得しているエラーを提供してくださいされていない場合import spark.implicits._
  2. SparkSessionでは、データフレーム/データセット

にあなたのRDDを変換する様々なcreateDataFrame方法を持っています

+0

のために更新しました。それをさらに処理するためにDataframe ....に変換したいと思っていました。それをdfに変換することはサポートしていません。そのため、通常のスパークRDDに変換すれば、データフレームの他のすべての機能を使用することができます。 – Kalpesh

関連する問題