Apache Ambariを使用して4ノードにApache Hadoopをインストールしました。そして私はApache Flinkで簡単な仕事を書いた。私はYARNクラスターにこの仕事を提出したい。しかし、Flinkはローカルマシン上の設定ファイルをYARNする必要があります（core-site.xml、yarn-site.xmlなど）。私はmisunterstandていないのであれば、2つのマヌエル・道のResourceManagerノード上のFlinkジョブをリモートのYARNクラスタに提出する方法は？
私はこれらの2つの方法があまりよくないと思います。リモートYARNクラスタにジョブを提出するにはどうしたらいいですか？適切な方法がありますか？
私はあなたのYARNクライアントを起動することに関して、FlinkがFlinkそのものであることが起こったと思うと思います。
私はFlinkについてほとんど知っていませんが、YARNのSparkについての知識はあります。あなたはFlinkアプリケーションを起動するために使用するマシンに設定ファイルをダウンロードすることしかできません。また、YARNクラスター内のエッジマシンを、アプリケーションを展開するマシンとして使用することもできます。
YARNにアプリケーションをデプロイする方法については、もう少し疑問です。
Hadoop/YARNの世界では、クライアントマシン上に常に設定ファイルが必要です。したがって、それらをローカルに取得する必要があります。しかし、あなたは通常それらの一部を必要とし、すべてを必要としません。ほとんどの場合、hdfs-site.xml、core-site.xml、およびyarn-site.xmlは、誤解されていなければ十分です。安全な側にするには、それらをすべてローカルディレクトリにコピーします。
次に、マシンのflink-conf.yamlファイルに次のパラメータを設定します。これはクライアントの役割を果たします。あなたはあなたの仕事を開始します。
次に、ジョブマネージャーとして糸マスタを使用するようにflinkツールに指示することで、YARNジョブを起動できるはずです。あなたはFLINK-conf.yaml上記メモリパラメータを設定している場合
flink run -m yarn-cluster -yn <num_task_managers> -yjm <job_manager_memory> -ytm <task_manager_memory -c <main_class> <jar>
、通り、すべてのこれらの詳細なパラメータ
flink run -m yarn-cluster -n <num_task_managers> -c <main_class> <jar>
を省略して、デフォルト値でジョブを起動することが可能ですクイックテストでは、YARNでScalaシェルを起動しようとする可能性があります。
start-scala-shell.sh yarn -n <num_task_managers> -nm test_job