HBaseのパフォーマンス・チューニング

Question

私は私の6ノードのHBaseクラスタについて、次のハードウェア構成（1つのマスター - 5つのスレーブ）を持つ各ノード

2.4GHzの、48コアIntel CPU

256ギガバイトのRAM

の設定を

の1Gb/PSネットワーク接続

30×SSDディスク（JBODセットアップ）

OS：RHEL 6.6

HBaseのバージョン：1.2.0

CDH分布：私は、このセットアップでは

hbase.client.write.buffer: 64MB 


hbase.regionserver.handler.count: 64 

master_region_java_heapsize: 125GB 




hbase.client.scanner.caching: 10000 

hbase.hregion.memstore.flush.size: 8GB 


hbase.hregion.max.filesize:100GB 

：5.7.0

私はHBaseの中に次のパラメータをチューニングしています250スレッドでYCSBを使用して50％の読み取りと50％の書き込みで85000のIOPSを得ることができます。

誰でも私に多くのIOPSを生成するのに役立つ構成の変更を提案できますか？

Answer 1

設定の詳細を知ることが役立ちます。 （流通、OS、クラスタの状態、ストレージなど）

また、ycsbの目標はちょうど良い数字ですか？

コンフィギュレーションをスキップすると、高速ストレージ（ssd、ramdiskなど）があると、ネットワークが飽和してしまうと思います。

一般的なアドバイスでは、私は基本に固執します。私はあなたが読んだことを願ってい

：

• はここ
• 最適化

はあなたを助けるかもしれないいくつかのコンテンツですボトルネックをリソース

のための場所で良いの監視を特定し、理解しましたパフォーマンスに関する公式ドキュメントを通して、もしそうでなければ[1]。

HBaseのJVM（特にGC）をチューニングするには良い書き方があります。 [2] [3] [4]

HDD、SSD、RAMディスク間のApacheのHBaseブログでは、興味深いパフォーマンス比較があります。 [5]

[1] https://hbase.apache.org/book.html#performance

[2] http://blog.cloudera.com/blog/2014/12/tuning-java-garbage-collection-for-hbase/ [3] https://software.intel.com/en-us/blogs/2014/06/18/part-1-tuning-java-garbage-collection-for-hbase [4] http://product.hubspot.com/blog/g1gc-tuning-your-hbase-cluster

[5] https://blogs.apache.org/hbase/entry/hdfs_hsm_and_hbase_part

[6]ボーナスビデオ！ - https://vimeo.com/127778854