関数呼び出し後にTensorflow変数の名前が変更されました

Question

独自のバッチ正規化コードを作成しようとしています。したがって、以下のコードをテストします。オンライン平均平均と分散を追跡するために、私はそれらをパラメータとしてgetsta（）関数に渡します。しかし、私は "avg_mean"と "avg_variance"の名前が変更されていることがわかります。あとで手動で名前を変更することもできますが、Tensorflowはすべての名前を別々の変数として扱うようです。

def getsta(x,avg_mean,avg_variance): 
    print('getsta start...') 

    decay=0.9 

    mean = tf.get_variable(
      'mean', [1], tf.float32, 
      initializer=tf.constant_initializer(0.0, tf.float32)) 
    variance = tf.get_variable(
      'howvariance', [1], tf.float32, 
      initializer=tf.constant_initializer(1.0, tf.float32)) 
    ''' 
    if (avg_mean == 0.0): 
     avg_mean = tf.get_variable(
       'avg_mean', [1], tf.float32, 
       initializer=tf.constant_initializer(0.0, tf.float32)) 
    if (avg_variance == 0.0): 
     avg_variance = tf.get_variable(
       'avg_variance', [1], tf.float32, 
       initializer=tf.constant_initializer(0.0, tf.float32)) 
    ''' 
    mean, variance = tf.nn.moments(x, [0], name='moments') 

    avg_mean -= (1.0 - decay) * (avg_mean - mean) 
    avg_variance -= (1.0 - decay) * (avg_variance - variance) 

    return x, mean, variance, avg_mean, avg_variance 

def train(): 
    x1 = tf.constant([1,2,3,4], tf.float32) 
    x2 = tf.constant([5,6,7,8], tf.float32) 
    x3 = tf.constant([1,3,5,7], tf.float32) 
    x4 = tf.constant([4,8,12,16], tf.float32) 

    with tf.variable_scope("AAA") as scopeA: 
    avg_mean1 = tf.get_variable(
       'test1', [1], tf.float32, 
       initializer=tf.constant_initializer(0.0, tf.float32)) 
    avg_variance1 = tf.get_variable(
       'test2', [1], tf.float32, 
       initializer=tf.constant_initializer(0.0, tf.float32)) 
    print([avg_mean1.name, avg_variance1.name]) 
    y1, mean1, variance1, avg_mean1, avg_variance1 = getsta(x1,avg_mean1,avg_variance1) 
    print([avg_mean1.name, avg_variance1.name]) 
    scopeA.reuse_variables() 
    print([avg_mean1.name, avg_variance1.name]) 
    y1, mean1, variance1, avg_mean1, avg_variance1 = getsta(x2,avg_mean1,avg_variance1) 
    print([avg_mean1.name, avg_variance1.name]) 
    avg_mean1 = tf.identity(avg_mean1, name='avg_mean') 
    avg_variance1 = tf.identity(avg_variance1, name='avg_variance') 
    print([avg_mean1.name, avg_variance1.name]) 

    with tf.variable_scope("BBB") as scopeB: 
    avg_mean2 = tf.get_variable(
       'test1', [1], tf.float32, 
       initializer=tf.constant_initializer(0.0, tf.float32)) 
    avg_variance2 = tf.get_variable(
       'test2', [1], tf.float32, 
       initializer=tf.constant_initializer(0.0, tf.float32)) 
    print([avg_mean2.name, avg_variance2.name]) 
    y2, mean2, variance2, avg_mean2, avg_variance2 = getsta(x3, avg_mean2, avg_variance2) 
    print([avg_mean2.name, avg_variance2.name]) 
    scopeB.reuse_variables() 
    print([avg_mean2.name, avg_variance2.name]) 
    y2, mean2, variance2, avg_mean2, avg_variance2 = getsta(x4, avg_mean2, avg_variance2) 
    print([avg_mean2.name, avg_variance2.name]) 
    avg_mean2 = tf.identity(avg_mean2, name='avg_mean') 
    avg_variance2 = tf.identity(avg_variance2, name='avg_variance') 
    print([avg_mean2.name, avg_variance2.name]) 

    saver = tf.train.Saver() 
    sess = tf.InteractiveSession() 
    sess.run(tf.global_variables_initializer()) 
    print(sess.run([y1, mean1, variance1, avg_mean1, avg_variance1])) 
    print(sess.run([y2, mean2, variance2, avg_mean2, avg_variance2])) 

    allVars = tf.global_variables() 
    values = sess.run(allVars) 
    for var, val in zip(allVars, values): 
    print(var.name, val) 

    saver.save(sess, "/tmp/test_EMA/var_save.ckpt") 

は、上記の電車（）関数を実行した後、私はいくつかの質問持って

['AAA/test1:0', 'AAA/test2:0'] 
getsta start... 
['AAA/sub_1:0', 'AAA/sub_3:0'] 
['AAA/sub_1:0', 'AAA/sub_3:0'] 
getsta start... 
['AAA/sub_5:0', 'AAA/sub_7:0'] 
['AAA/avg_mean:0', 'AAA/avg_variance:0'] 
['BBB/test1:0', 'BBB/test2:0'] 
getsta start... 
['BBB/sub_1:0', 'BBB/sub_3:0'] 
['BBB/sub_1:0', 'BBB/sub_3:0'] 
getsta start... 
['BBB/sub_5:0', 'BBB/sub_7:0'] 
['BBB/avg_mean:0', 'BBB/avg_variance:0'] 
[array([ 5., 6., 7., 8.], dtype=float32), 6.5, 1.25, array([ 0.875], dtype=float32), array([ 0.23750001], dtype=float32)] 
[array([ 4., 8., 12., 16.], dtype=float32), 10.0, 20.0, array([ 1.36000001], dtype=float32), array([ 2.45000005], dtype=float32)] 
AAA/test1:0 [ 0.] 
AAA/test2:0 [ 0.] 
AAA/mean:0 [ 0.] 
AAA/howvariance:0 [ 1.] 
BBB/test1:0 [ 0.] 
BBB/test2:0 [ 0.] 
BBB/mean:0 [ 0.] 
BBB/howvariance:0 [ 1.] 

として出力を得た：

1. を変更せずに "avg_mean" を記録する方法はありますその名前？モデルをロードするときに最終更新値をロードします。
2. それはすなわち、その初期値はのは、呼び出しが、常に0

3. ときから始まっていない最後の時間からで、まだ静的変数のようにそれを維持しながら、「avg_mean」GETSTA内部（）関数を定義することは可能です名前と値の両方が出力の最後の8行として正しくないように見えるすべての変数を出力しますか？私は事前にご協力いただきありがとうござい出力は

   AAA/avg_mean:0 [0.875] 
   AAA/avg_variance:0 [0.23750001] 
   BBB/avg_mean:0 [1.36000001] 
   BBB/avg_variance:0 [2.45000005] 
   

です期待して！

--------------------

I

def train(): 
    x1 = tf.constant([1,2,3,4], tf.float32) 
    x2 = tf.constant([5,6,7,8], tf.float32) 
    x3 = tf.constant([1,3,5,7], tf.float32) 
    x4 = tf.constant([4,8,12,16], tf.float32) 

    with tf.variable_scope("AAA") as scopeA: 
    avg_mean1 = tf.get_variable(
       'avg_mean', [1], tf.float32, 
       initializer=tf.constant_initializer(0.0, tf.float32)) 
    avg_variance1 = tf.get_variable(
       'avg_variance', [1], tf.float32, 
       initializer=tf.constant_initializer(0.0, tf.float32)) 
    y1, mean1, variance1 = getsta(x1,avg_mean1,avg_variance1) 
    scopeA.reuse_variables() 
    y1, mean1, variance1 = getsta(x2,avg_mean1,avg_variance1) 
    print([avg_mean1.name, avg_variance1.name]) 

    with tf.variable_scope("BBB") as scopeB: 
    avg_mean2 = tf.get_variable(
       'avg_mean', [1], tf.float32, 
       initializer=tf.constant_initializer(0.0, tf.float32)) 
    avg_variance2 = tf.get_variable(
       'avg_variance', [1], tf.float32, 
       initializer=tf.constant_initializer(0.0, tf.float32)) 
    y2, mean2, variance2 = getsta(x3, avg_mean2, avg_variance2) 
    scopeB.reuse_variables() 
    y2, mean2, variance2 = getsta(x4, avg_mean2, avg_variance2) 
    print([avg_mean2.name, avg_variance2.name]) 

    saver = tf.train.Saver() 
    sess = tf.InteractiveSession() 
    sess.run(tf.global_variables_initializer()) 
    print(sess.run([y1, mean1, variance1, avg_mean1, avg_variance1])) 
    print(sess.run([y2, mean2, variance2, avg_mean2, avg_variance2])) 

    allVars = tf.global_variables() 
    values = sess.run(allVars) 
    for var, val in zip(allVars, values): 
    print(var.name, val) 

    saver.save(sess, "/tmp/test_EMA/var_save.ckpt") 

ここで、変数の名前は固定されています。しかし、出力（変数の値）は正しくないようです。出力は

[array([ 5., 6., 7., 8.], dtype=float32), 6.5, 1.25, array([ 0.], dtype=float32), array([ 0.], dtype=float32)] 
[array([ 4., 8., 12., 16.], dtype=float32), 10.0, 20.0, array([ 0.], dtype=float32), array([ 0.], dtype=float32)] 
AAA/avg_mean:0 [ 0.] 
AAA/avg_variance:0 [ 0.] 
AAA/mean:0 [ 0.] 
AAA/variance:0 [ 1.] 
BBB/avg_mean:0 [ 0.] 
BBB/avg_variance:0 [ 0.] 
BBB/mean:0 [ 0.] 

正しい結果を得るにはどうすればよいですか？ありがとうございました。あなたはgetstaによって返さoperationでavg_variance1を交換する次の行で

の1-：ここ

Answer 1

を修正する必要がありますあなたのコードの問題です。あなたはそれをしてはいけません。変数avg_variance1を作成してgetstaに渡すと、変数は計算グラフのどこでも更新され、TensorFlowはそれを処理します。明示的に行う必要はありません。あなたがによってvariableを参照している限り、あなたは大丈夫です。 TensorFlow変数は、通常のPython変数と似ていません。

y1, mean1, variance1, avg_mean1, avg_variance1 = getsta(x1,avg_mean1,avg_variance1) 

は

2 - avg_mean2、avg_variance2、avg_mean2（あなたはavg_mean1、avg_mean2、などのためにこれを修正する必要がある）、およびavg_variance2はTensorないvariableです。だから彼らはあなたが印刷しているvariablesのリストに入っていません。