ウェイトの値を手動で初期化する方法は？ （W = np.random.randn（N）/ SQRT：

Question

私は彼の講義ノートにKarpathyによって推奨重みの初期化を試したい

、

推奨ヒューリスティックは、各ニューロンの重みベクトル を初期化することですn）は、nはその 入力

源の数である：http://cs231n.github.io/neural-networks-2/#init

私はPythonで初心者だ、と私はtはこれを実装する方法を知っている "ドン：/

weights = tf.Variable(??) 

助けてください？ランダムな値を持つベクトルの

weights = tf.Variable(10) 

：単一の値、使用のために...

Answer 1

shape = [784, 625] 
weights = tf.Variable(tf.random_normal(shape, stddev=0.01)/tf.sqrt(n)) 

あなたは変数を評価するsess.runする必要があることに注意してください。

また、他のランダムテンソルをチェックアウトしてください：https://www.tensorflow.org/versions/r0.8/api_docs/python/constant_op.html#random-tensors

Answer 2

n = 10 
init_x = np.random.randn(n) 
x = tf.Variable(init_x) 
sess = tf.InteractiveSession() 
sess.run(tf.initialize_all_variables()) 
print(sess.run(x)) 

Answer 3

私は次のようにそれを行う：

self.w_full, self.b_full = [], [] 

    n_fc_layers = len(structure) 
    structure.insert(0, self.n_inputs) 

    with vs.variable_scope(self.scope): 
     for lr_idx in range(n_fc_layers): 
      n_in, n_out = structure[lr_idx], structure[lr_idx+1] 
      self.w_full.append(
       vs.get_variable(
        "FullWeights{}".format(lr_idx), 
        [n_in, n_out], 
        dtype=tf.float32, 
        initializer=tf.random_uniform_initializer(
         minval=-tf.sqrt(tf.constant(6.0)/(n_in + n_out)), 
         maxval=tf.sqrt(tf.constant(6.0)/(n_in + n_out)) 
        ) 
       ) 
      ) 

      self.b_full.append(
       vs.get_variable(
        "FullBiases{}".format(lr_idx), 
        [n_out], 
        dtype=tf.float32, 
        initializer=tf.constant_initializer(0.0) 
       ) 
      ) 

structure.insert(0, self.n_inputs) 

した後、あなたは[n_inputsを持っています、第1FC層サイズ、第2FC層サイズ...出力層サイズ]