0
Azure HDInsightクラスタでcoordinator.xmlを使用してoozieワークフローをスケジュールしました。oazieワークフローは、Azure HDInsight Spark2クラスタで10分ではなく1分ごとにスケジューリングしています。
oozieによってスケジュールされたスパークジョブの時間間隔は10分ですが、私のスパークジョブは1分ごとに実行されています。
私coordinator.properties：
startTime=2017-07-04T12:49Z
endTime=2017-07-05T12:44Z
timeZone=UTC
concurrency=1
frequency=12
workflowRoot=${oozie.coord.application.path}
nameNode=wasb://[email protected]s.net
jobTracker=hn0-edmspa.xxxsdf.hx.internal.cloudapp.net:8050
queueName=default
oozie.use.system.libpath=true
Spark_Master=yarn
Spark_Mode=cluster
Spark_Driver=locationDataMetrics.IdentificationMetrics
numExecutors=2
driverMemory=4G
executorMemory=2G
executorCores=2
workflowRoot=wasb://[email protected]et/datainput9
oozie.coord.application.path=wasb://[email protected]et/datainput9
sparkJar=demospark-0.0.1-SNAPSHOT.jar
私coordinator.xmlファイル：
<coordinator-app end="${endTime}" frequency="${frequency}" name="oozieTimeCoordinator" start="${startTime}" timezone="${timeZone}" xmlns="uri:oozie:coordinator:0.1">
<controls>
<concurrency>${concurrency}</concurrency>
</controls>
<action>
<workflow>
<app-path>${workflowRoot}</app-path>
</workflow>
</action>
</coordinator-app>
どのように私は10または15分にスケジュールするために、このoozieワークフロースケジューラを変更することができますか？
「周波数」を定義するもう1つの方法は、CRON表記を使用することです。 「5/15 * * *」は、壁の時間に05-20-35-50分に1時間に4回ワークフローを開始します。もう少し予測可能です。 Cf。 https://oozie.apache.org/docs/4.3.0/CoordinatorFunctionalSpec.html#a4.4.3._Cron_syntax_in_coordinator_frequency –