2016-11-22 5 views
1

AdamOptimizerの学習率を監視するにはどうすればよいですか? TensorBoard: Visualizing Learningで は私が学習率を要約に追加するにはどうすればよいですか?

が必要であると言われて、それぞれ出力学習率および損失そのノードにscalar_summaryオプスを取り付けることにより、これらを収集します。

どうすればいいですか?

+0

しかし、アダムの学習率は一定です...アダムはいくつかの勾配統計を計算し、学習率とそれらの統計に基づいてステップサイズを変更します。 – sygi

+0

はい、書いてありますが、実際にはステップサイズのプロットが必要です。 – Mtr

答えて

1

私はグラフの内側に、次のような何かがうまく働くだろうと思う:

with tf.name_scope("learning_rate"): 
    global_step = tf.Variable(0) 
    decay_steps = 1000 # setup your decay step 
    decay_rate = .95 # setup your decay rate 
    learning_rate = tf.train.exponential_decay(0.01, global_step, decay_steps, decay_rate, staircase=True, "learning_rate") 
tf.scalar_summary('learning_rate', learning_rate) 

を(もちろんそれを動作させるために、それはtf.merge_all_summaries()に必要と最後にログに要約を書くためにtf.train.SummaryWriterを使用したいです)

+0

興味深い答えですが、ADAMのためのものではありません、@ zhongyukuang – Escachator

関連する問題