私はCassandraを使用してデータを保存し、データを処理するためにハイブを使用しています。 私は5台のマシンにキャッサンドラと2台のマシンを設定しています。(ハイブが走っている)分析ノードとして使用しています。 2台のマシン(アナリティクスノード)でハイブを減らしてデータを取り込みますか?プロセス/計算を5つのcassandraノードに移動し、それらのマシン上のデータを処理/計算します(私が知っているのは、ハーフープにあり、プロセスは処理するデータではなくデータに移動します)。Hadoop on cassandraデータベース
8
A
答えて
16
HadoopとCassandraとの結婚に興味があれば、最初のリンクはこのコンセプトに基づいて構築されたDataStax社です。 http://www.datastax.com/ HDFSをhadoopに置き換え、cassandraに置き換えました。私の理解の最高で - 彼らはデータの局所性を持っている:http://blog.octo.com/en/introduction-to-datastax-brisk-an-hadoop-and-cassandra-distribution/
あなたはあなたの質問についてはカサンドラ Cassandra and MapReduce - minimal setup requirements
に対してのMapReduceを実行する場合のHadoop &カサンドラデータの局所性についての良い答えがある - tradeofがあります: a)別のノードでHadoop/Hiveを実行すると、データの局所性が失われ、データスループットがネットワーク帯域幅によって制限されます。
b)cassandraが実行されているノードと同じノードでhadoop/Hiveを実行すると、データの局所性が得られますが、ハイブクエリの背後にあるMapReduce処理がネットワーク(およびその他のリソース)を塞ぐ可能性があり、
あなたの提案は、あなたのcassandraクラスタのパフォーマンスが重要である場合、別のハイブノードを持つことです。
あなたのcassandraが主にデータストアとして使用され、リアルタイム要求を処理しない場合、各ノードでハイブを実行すると、パフォーマンスとハードウェアの使用率が向上します。
関連する問題
- 1. Spark + Cassandra on EMR LinkageError
- 2. Cassandra ttl on row
- 3. Hadoop instalation on windows
- 4. Java対Python on Hadoop
- 5. CassandraとMahoutをHadoopで拡張する
- 6. Hadoop on EC2とElastic Map Reduce
- 7. Apache Cassandraデータベースの安全コピー
- 8. cassandraデータベースでのワイルドカード検索
- 9. winutilsとhadoop/sparkのPowershell chmod on/tmp/hive
- 10. Cassandra、Membase、Hadoop、MongoDB、RDBMSなどの選択方法は?
- 11. データを直接Cassandraデータベースにスクラビングする
- 12. GRANT VIEW on 1データベース
- 13. cassandraソースコードからcassandra-jarを作成する方法は?
- 14. hadoopでのclasspathの問題0.23.0 java on Ubuntu 11.10
- 15. データベース管理Ruby On Rails
- 16. Hadoop/Hbase:java.lang.NoClassDefFoundError:org/apache/hadoop/hbase/HBaseConfiguration
- 17. Hadoop API VS. Hadoop Streaming
- 18. mahoutとhadoopの使用
- 19. Hadoopオンデマンド
- 20. ロールベースのアクセス制御システムのデータベースとしてのCassandra
- 21. cassandra 1.0.6バージョンをcassandra 1.0.7にアップグレード
- 22. Cassandra CompositeType
- 23. Cassandraパフォーマンスチューニング
- 24. Cassandraクラスタリングシングルノード
- 25. Hadoop DistributedCacheは、hadoopジョブでステータス
- 26. データベースへのRuby on Railsトラフィックの削減
- 27. jRuby/Ruby onデータベース関係とデータ検索
- 28. hadoopハイブ質問
- 29. Nodejs Cassandraのクライアントnodejs介し[ノードCassandraのクライアント]
- 30. HadoopとStata
非常に役に立ちました –