N台のマシンにN個のノードを持つCassandraクラスタを持っています。また、私はすべてのマシンに作業員を派遣しています。私はDatastax spark-cassandraコネクタを使用しています。私は労働者(スタンドアロンモード)を設定しているときに私は彼らのためのマスターホストと言う。ドライバでは、spark.cassandra.connection.hostプロパティでCassandraの種を指定しています。私はデータのローカリティに関する多くのプレゼンテーションを見ました。しかし、spark-cassandraコネクタが各作業者のローカルノードをどのように選択するかについての情報は見つかりませんでした。どのアルゴリズムコネクタがこれに使用しますか?スパークがcassandraノードを読み込みに選択する方法は?
3
A
答えて
0
コネクタはトークン対応です。実行するクエリにtoken("partition-key") > ? AND token("partition-key") <= ?
などのトークン範囲フィルタを追加することで、データの局所性を保証します。
コネクタは、各スパークパーティション内のデータの64メガバイトについてロードするクエリを生成するためのパラメータspark.cassandra.input.split.size_in_mb(64メガバイトのデフォルト)(token(...) >? AND token(...)< ?
)を使用しています。
関連する問題
- 1. Cassandra読み込み読み込みノード間で負荷が変化しますか?
- 2. unittest後に組み込みのcassandraをクリーンアップする方法は?
- 3. 剣道ツリービューから選択したノードの値を読み込みますか?
- 4. データベースコンテンツをドロップダウンオプションに読み込む方法(選択)
- 5. 埋め込みsvgグラフィックでノードを選択するには?
- 6. cssshを使ってCassandraにスキーマファイルを読み込む方法
- 7. AngularJS:ng-repeatで選択したフィールドを読み込む方法
- 8. メインビューコントローラが読み込まれる前に場所を読み込む方法は?
- 9. 選択したタブの内容を読み込みます(Foundation)
- 10. XMLファイルをCassandraに一括読み込み
- 11. Default.pngイメージの読み込みインジケータを読み込む方法
- 12. Cassandraのセカンダリインデックスは2回のDB読み込みにつながります
- 13. HTML5動画の読み込み時に画像を読み込む方法は?
- 14. クライアントが読み込み中にHashMapをリフレッシュする方法
- 15. ヘルパーファイルの読み込み方法は?
- 16. Android:Googleドライブのファイルピッカーで選択したファイルを読み込み
- 17. タブが選択されたときにアクティビティを読み込む
- 18. XML文書を読み込み、ユーザーが選択したデータを照会する方法
- 19. 複数の選択ボックスでオプションを選択し、選択したオプションからデータを読み込む方法
- 20. 起動時に読み込むアクティビティを選択する - Android
- 21. キャンバスに多数のコントロールを選択的に読み込む方法
- 22. cassandraでDISTINCTを選択する方法
- 23. イメージが読み込まれている間、ウェブページにイメージを高速に読み込み、読み込み中にアクティビティインジケータを表示する方法
- 24. 選択したマスタレコードから詳細テーブルを読み込む方法は?
- 25. Angular2/Webpack:CSSファイル内に読み込まれるフォントを読み込む方法は?
- 26. cassandraが複数の読み取り要求を読み取る
- 27. ページが読み込まれる前にiframeに読み込みメッセージを挿入する方法
- 28. ファイルを読み込み、アプリケーションの起動時にオブジェクトを読み込む方法
- 29. 部分的なJsonデータを複数選択ドロップダウンリストに読み込む方法
- 30. 起動時に最後に選択したUIPickerViewを読み込みます。
しかし、どのように作業員が正確にデータを読み取る必要があることを理解しているのですか?それはどのように地方のカサンドラ節を認識していますか? – Cortwave
ドライバがCassandraクラスタへの初期接続を確立しています。 Cassandraのトポロジーとトークンの分布を検出します。私は次に、データの局所性についてどのような作業者にどのようなクエリを生成するかを知るために、作業者IPをCassandra IPにマッチさせることを前提としています。 –