スパークについての私の理解は、RDDでreduce操作を実行すると、異なるノードによって並列に操作され、結果がマスターノードによって蓄積されることです。これらの操作は並行して実行されるため、結果は全体として利用可能であり、処理中に実行される更新に依存することはできません。たとえば、共有キャブアプリケーションを設計していると、トリップの開始位置と実際の位置異なるキャブ。私は簡単に旅行開始ポイントから各タクシーの距離を取得するためにスパークSQLを実行することができます。一度、私はこれを持って、私は最短距離のタクシーを選び、それを割り当てる必要があります。今ここで私たちはタクシーが4回以上の旅行を取ることができないという条件があります。私の分析は並行して実行されているので、すでにキャブがフルキャパシティであるかどうかはわかりません。では、これを検証する最良の方法は何ですか?共有変数を持つことができますか、データベースに割り当てを保存する必要があります。パフォーマンスはスパークでのような何の機能はありませんキーSpark RDD:並列操作のためにデータを共有する方法
-2
A
答えて
0
で、あなたはより多くの詳細についてはApacheのIgnite を利用することができます私たちは、今のよう点火するためにジャンプすることはできませんリンク https://apacheignite.readme.io/docs
関連する問題
- 1. 2つのSparkコンテキスト間でSpark RDDを共有するには?
- 2. SparkでJavaRDDパーティション間でデータを共有する方法は?
- 3. アプリケーション間のデータ共有 - 共有メモリとD-Busとファイル操作
- 4. Scala RDD文字列操作
- 5. リストの反復を並列化してSparkでRDDを作成する方法は?
- 6. Spark RDD [Array [MyObject]]をRDDに変換する方法[MyObject]
- 7. Windowsで共有操作をトリガする方法8
- 8. 同時スパークジョブでRDDを共有する方法
- 9. 列をRDDに追加するSpark 1.2.1
- 10. ミューテックスとセマフォを使用して共有データを操作する
- 11. RDD操作
- 12. SparkでRDDを作成するさまざまな方法
- 13. spark RDDでパーティションを作成する方法
- 14. アンドロイド - '共有'メニューを操作する
- 15. Spark RDDまたはデータフレーム内のランダムシャッフル列
- 16. RDD(Spark)のアイテムをRDDの多くのアイテムに変換する方法は?
- 17. JavaスレッドでArrayList操作を並列化する方法は?
- 18. SparkのRDDへのマッピング方法
- 19. ラベルからのRDD配列とデータ配列のpython/spark
- 20. RDDで配列をマージする方法
- 21. Apache Spark RDD:ペアドRDDキーと値に基づいて最新のデータを取得する方法
- 22. 文字列RDD結合操作
- 23. 複数のnumpy配列をspark rddにロードする最速の方法は?
- 24. Androidでテキストを共有するためのアプリピッカーを作成する方法は?
- 25. Spark SQLで設定を共有/隔離する方法は?
- 26. RDDからRDDのコレクションを作成する方法は?
- 27. spark RDDのサブセットを効率的に削除する方法
- 28. Spark 1.6.1:RDDからDataFrameを作成する[配列[エラー]]
- 29. rdd操作でデータフレームを読み取る方法
- 30. 可能なアプリにファイルを共有するためのiOS固有の方法
を参照してください。私はそれがスパークでは不可能であることを知っています、そして、それが理由です、私たちはスパークの外にそれを保管する必要があります。私の質問は、パフォーマンスに与える影響が最も少ないこのようなシナリオのベストプラクティスです。 – Piyush