YARNのSamzaがKVの状態を格納する場所を見つける必要があります。私はそれがYARNアプリケーションのすべてのディレクトリとしてYARNアプリケーションにあると思われますが、私はこれを数ヶ月前に(メモリにマッピングされたフォルダ)別の環境でやっていますが、今は思い出しません。YARNのSamzaはKV州の店舗をどこに置いていますか?
私は、他のアプリケーションの他のYARNアプリケーションデータからsamza KVストアを分離できる必要があります。
YARNのSamzaがKVの状態を格納する場所を見つける必要があります。私はそれがYARNアプリケーションのすべてのディレクトリとしてYARNアプリケーションにあると思われますが、私はこれを数ヶ月前に(メモリにマッピングされたフォルダ)別の環境でやっていますが、今は思い出しません。YARNのSamzaはKV州の店舗をどこに置いていますか?
私は、他のアプリケーションの他のYARNアプリケーションデータからsamza KVストアを分離できる必要があります。
ここに解決策があります。これはサムサジョブログの出力に表示されます。
[WARN]ログに記録されたストアベースディレクトリのオーバーライドはありません。この は、アプリケーションの再起動時にローカル状態の再利用を無効にします。この機能を有効にする にしたい場合は、環境としてLOGGED_STORE_BASE_DIRを設定Samzaコンテナ
LOGGED_STORE_BASE_DIR
を実行しているすべてのマシンで 変数は、ノードマネージャの起動の一部として設定することができます。例:
# Typical environment setup.
export JAVA_HOME=...
export YARN_CONF_DIR=...
export YARN_LOG_DIR=...
export HADOOP_LOG_DIR=...
export YARN_MASTER=...
export YARN_PID_DIR=...
export YARN_IDENT_STRING=...
export YARN_NICENESS=...
export YARN_OPTS="-XX:+UseG1GC -XX:ErrorFile=logs/hs_err.log -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -XX:+PrintGCDateStamps -XX:+PrintTenuringDistribution -XX:ErrorFile=logs/hs_err.log -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:+PrintTenuringDistribution -Xloggc:logs/gc.log"
# Location of samza-kv stores for host affinity (should be on an SSD).
export LOGGED_STORE_BASE_DIR="/mnt/myssd/samza/logged-stores"
# Startup the Yarn NodeManager
./yarn-daemon.sh" --config "$YARN_CONF_DIR" nodemanager
ストアパスは、変更ログが有効になっている場合にのみ設定できます。
格納場所がLOGGED_STORE_BASE_DIR
さらなる詳細はここで提供される環境変数によって制御されます。http://samza.apache.org/learn/documentation/0.11/yarn/yarn-host-affinity.html