2016-08-26 3 views
2

YARNのSamzaがKVの状態を格納する場所を見つける必要があります。私はそれがYARNアプリケーションのすべてのディレクトリとしてYARNアプリケーションにあると思われますが、私はこれを数ヶ月前に(メモリにマッピングされたフォルダ)別の環境でやっていますが、今は思い出しません。YARNのSamzaはKV州の店舗をどこに置いていますか?

私は、他のアプリケーションの他のYARNアプリケーションデータからsamza KVストアを分離できる必要があります。

答えて

3

ここに解決策があります。これはサムサジョブログの出力に表示されます。

[WARN]ログに記録されたストアベースディレクトリのオーバーライドはありません。この は、アプリケーションの再起動時にローカル状態の再利用を無効にします。この機能を有効にする にしたい場合は、環境としてLOGGED_STORE_BASE_DIRを設定Samzaコンテナ

LOGGED_STORE_BASE_DIRを実行しているすべてのマシンで 変数は、ノードマネージャの起動の一部として設定することができます。例:

# Typical environment setup. 
export JAVA_HOME=... 
export YARN_CONF_DIR=... 
export YARN_LOG_DIR=... 
export HADOOP_LOG_DIR=... 
export YARN_MASTER=... 
export YARN_PID_DIR=... 
export YARN_IDENT_STRING=... 
export YARN_NICENESS=... 
export YARN_OPTS="-XX:+UseG1GC -XX:ErrorFile=logs/hs_err.log -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -XX:+PrintGCDateStamps -XX:+PrintTenuringDistribution -XX:ErrorFile=logs/hs_err.log -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:+PrintTenuringDistribution -Xloggc:logs/gc.log" 

# Location of samza-kv stores for host affinity (should be on an SSD). 
export LOGGED_STORE_BASE_DIR="/mnt/myssd/samza/logged-stores" 

# Startup the Yarn NodeManager 
./yarn-daemon.sh" --config "$YARN_CONF_DIR" nodemanager 
関連する問題