Spark Cassandra書き込みパフォーマンス

Question

spark経由でcassandraに約200万レコードを読み込もうとしています。 Sparkには4人のエグゼキュータがあり、cassandraにはクラスタ内に4つのノードがあります。しかし、すべてのデータをcassandraに保存するには約20分かかります。誰もがこのことをもっと速くするために私を助けてくれますか？

Answer 1

[OK]をので、私は同じ場所に配置しないでパフォーマンスのベンチマーク

スパーク（ありませんので、データの局所性...）

のためにあなたの設定VM内カサンドラを実行

1. でいくつかの問題を見ることができます一般に、仮想マシン内にCassandraをインストールすると、であり、パフォーマンスベンチマークではが推奨されていません。アンチパターンです。だからあなたの遅い挿入率は正常です、あなたはVMを使用している間、より良いperfを要求することはできません。文句を言ってはいけません。