テンソルフローのtf.clip_by_average_normとtf.clip_by_normの差

Question

オペレータclip_by_average_normとclip_by_normの2つのグラジエントクリッピングの違いについては完全にはわかりません。ドキュメントから、違いはclip_by_normがl2norm_avgの代わりにl2normを使用しているようです。

私はグラデーションのL2ノルムが何であるかを理解していますが、「平均L2ノルム」も対応していますか？

ドキュメントの参照

• clip_by_norm
• clip_by_average_norm

Answer 1

ドキュメントはtestとimplから、avg_normがnorm/len(vector)

def testClipByAverageNormClipped(self): 
    # Norm clipping when average clip_norm < 0.83333333 
    with self.test_session(): 
     x = tf.constant([-3.0, 0.0, 0.0, 4.0, 0.0, 0.0], shape=[2, 3]) 
     # Average norm of x = sqrt(3^2 + 4^2)/6 = 0.83333333