spark executorプロセスのniceness設定を設定する方法はありますか？

Question

私は他のプロセスと共有しなければならないマシンのクラスタを持っています。私がいい人ではないと言い、私のスパークエグゼキュータプロセスが他の人のプロセスより優先度を高くしたいと言うことができます。どうすれば設定できますか？私はRHEL7

Answer 1

上で実行されている、V2.01をスタンドアロンモードを使用しています

を実行するには、OSのために必要な最小限の リソースを残しスパークアプリケーションにすべてのリソースを割り当てます。

単純なシナリオ： はNodeManagers（糸モード）、メモリの16個のコアと64ギガバイトを備え、各実行6つのノードを有するクラスタを想像します。 NodeManagerの容量は、yarn.nodemanager.resource.memory-mbとyarn.nodemanager.resource.cpu-vcoresは、おそらくそれぞれ63 * 1024 = 64512（メガバイト）と15に設定する必要があります。ノードがOSとHadoopデーモンを実行するために何らかのリソースを必要とするため、リソースの100％をYARNコンテナに割り当てることは避けます。この場合、これらのシステムプロセスにはギガバイトとコアが残ります。