これはHiveのクエリが頻繁に利用されて、利用可能なYARNエグゼキュータの大半とCDHクラスタのメモリを消費するというグループの一般的な問題です。根本的な問題は、テーブルのパーティション数とジョインの複雑さにありますが、これらのテーブルを自由に再構築することはできません。 spark.dynamicAllocation.maxExecutorsとspark.executor.memoryを設定することで、Sparkのリソース消費を制御できます。 Hueがクラスター上の他のジョブで「うまくいく」ように、Hueで使用できるものがありますか?使用可能なコンテナの数を制限するHive on Hue(CDH 5.9.3)の構成設定はありますか?
答えて
HueはUIであり、Hiveが使用するリソースの数を制御できません。これは、スケジューリング方針によってYARNによって制御されます。 CDHクラスタの場合、公平スケジューラが一般的に使用されます。
http://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/FairScheduler.html
あなたはこれをセットアップする方法についていくつかの背景情報については、以下をご覧ください。
はい、あなたはもっと自分のHue
Hive
クエリを-launchedから使用されているHadoopクラスタのコンピューティングリソースの量を管理することができます。
これを行うには、最初にYARNスケジューラキューを設定する必要があります。 ClouderaののCDHの配布のために、これらは動的資源プール
と呼ばれているあなたは、あなたのヒュー・発売し、半インタラクティブ、ハイブのクエリのために意図プールを設定したらあなたはCDH Documentation
でこのトピックについての詳細を学ぶことができますmapred.job.queue.name
キーの値のリソースプール名を渡して、個々のクエリに対してこのプールにHiveに指示できます。
私たちのキュー名はinteractive.hive_queue
とふりましょう。私たちは、HiveQLクエリステートメントの前に、このSET
声明を付加します:
SET mapred.job.queue.name=interactive.hive_queue;
あなたはこの設定値は、あなたのフエユーザーが通過できるようにするために、あなたの色相構成hue.ini
を更新する必要があり
また、Hueで起動されたHiveクエリに対して、このYARNキューを常に使用するためにHue用に保存されたHive Configurationを作成することもできます。
(これは、あなたのハイブのクエリのMapReduceの(MR2)実行エンジンを使用していると仮定し)
あなたのハイブのクエリのすべてのキューを変更したい場合は、行うことができますHive Server2の設定hive-site.xml
を変更します。この変更は次のようになります。
<property>
<name>mapreduce.job.queuename</name>
<value>interactive.hive_queue</value>
</property>
- 1. 選択可能なチェックボックスの数に制限を設定する
- 2. コンテナ内のドラッグ可能な要素の制限
- 3. スクロール可能な領域には幅の制限がありますか?
- 4. アンドロイドで展開可能なリストビューの子に制限を設定するには
- 5. ASP.NET - 使用可能なファイルの種類を制限する
- 6. Swiftのドラッグ可能なアイテムへの制限を設定します
- 7. ドッカーのコンテナからアップロードをレート制限する方法はありますか?
- 8. phpメール機能を使用する際に制限はありますか?
- 9. Summernoteの利用可能な段落スタイルを制限する方法はありますか?
- 10. hive sqlでinsert intoを使用するとファイル番号を制限します
- 11. pythonでintの制限を設定する方法はありますか3
- 12. Androidアプリのキャッシュ制限を設定する方法はありますか?
- 13. コンテナ内のドロップ可能なドラッグされたアイテムの数の制限
- 14. STL :: mapコンテナの最大サイズを制限する方法はありますか?
- 15. リクエストは、構成エラーの可能性があるため、内部リダイレクトを10回まで制限しました
- 16. ドラッグ可能なアイテムを限定コンテナにスナップする方法
- 17. hue connect hiveにエラーがありました
- 18. Cプログラムの作成時にメモリ使用制限を設定する方法と、この制限を超えた場合はどうなりますか?
- 19. 特定のコレクションのレコード数を制限する方法はありますか
- 20. PHPフレームワークの使用に制限はありますか?
- 21. redisソートセットにメンバー制限を設定する方法はありますか?
- 22. PDFで時間制限を設定する方法はありますか?
- 23. CSS - コンテナをブラウザウィンドウの高さに制限する(表示可能領域)
- 24. ウィジェットに使用できるメモリ制限はありますか?
- 25. 選択可能な項目の数を制限するjquery-ui
- 26. DDDのドメインインフラストラクチャサービス用にDIコンテナを設定する必要はありますか?
- 27. スキーマ制限またはユーザー制限を使用する必要がありますか?
- 28. カレンダーエクステンダーの制限はありますか?
- 29. beforeRouteLeaveの制限はありますか?
- 30. onSaveInstanceStateの制限はありますか?