regularized

    3

    1答えて

    正則化では通常、大きな重みにペナルティをかけるためにk * w^2を損失に追加することを理解しています。しかし、Kerasには、2つの正則化パラメータ、weight_regularizerとactivity_ regularizerがあります。違いはなんですか?

    0

    2答えて

    私のニューラルネットワークで希薄状態を作成するためには、正規化としてL1ノルムを追加する必要があります。私は分類にネットワークを訓練したいと思います。私は希薄状態を作成するために正則化者としてL1ノルムを追加する必要があります。私は分類のためにネットワークを訓練する必要があります。そして、私はpytorchから始めています。 hereのように自分でL1ノルムを構築しようとしましたが、うまくいきませ

    1

    1答えて

    数字分類のためにCNNモデルを実装しました。私のモデルはあまりにも多くの問題を抱えています。オーバーフィットを克服するために、私はコスト関数にL2 Regularizationを使用しようとしています。私は小さな混乱を持っています <weights>を選択してコスト方程式(コードの最終行)を入れる方法を教えてください。 ... x = tf.placeholder(tf.float32, sh

    3

    1答えて

    私はラセーガンコードを持っています。私はcaffeを使って同じネットワークを作りたいと思っています。私はネットワークを変換することができます。しかし、私はlasagneのhyperparametersの助けが必要です。ラザニアのハイパーパラメータは次のようになります。 lr = 1e-2 weight_decay = 1e-5 prediction = lasagne.layers.get_

    1

    2答えて

    モデル出力テンソルを分析する必要があるカスタマイズされた正規化器があります。基本的に私はこのように置くことはできません。 model = Sequential() model.add(Dense(128, name="dense_1", W_regularizer=Custom(0.1))) model.add(Dense(nb_classes, name='dense_2')) model

    0

    1答えて

    をTensorflowするカスタム正則を追加します。ここ を、Yがターゲットベクトルで、Xは、入力行列とベクトルwを表しています学習されるべき重み。 シナリオ例: 、、Iはtensorflow変数wにw1(最初のスカラ値に追加の制約を課すこと初期目的関数を増強したい場合 とX1が表しますフィーチャマトリックスXの最初の列)、テンソルフローでこれをどのように達成できますか?私は考えることができる 一

    0

    1答えて

    現在、私はNeural Networks and Deep Learningを読んでおり、問題が残っています。問題は、彼がL2正則化の代わりにL1正則化を使用するために与えたコードを更新することです。 L2正則化を使用するコードの元の部分である: self.weightsをL2正則用語を使用して更新されることが分かる def update_mini_batch(self, mini_batch,

    0

    2答えて

    ドロップアウトのKeras実装について読んでいますが、dropoutと言っても逆ドロップアウトバージョンを使用しているようです。ここで は、私がKerasとTensorflowドキュメントを読んだとき、私は理解しているものです: 私はDropout(0.4)を指定すると0.4は、その層内のすべてのノードが0.4であることを意味するドロップさの40%のチャンスがあることを意味しますドロップ確率。した

    -1

    1答えて

    より正則化(例えば1から10までのL2正則化パラメータ、または0.75から0.5への脱落パラメータ)を追加すると、遅く悪化したパフォーマンスが得られます(例:97-98% 3000〜4000回の反復で、3000〜4000回の反復で94〜95%の試験精度しか得られない)。おそらくこれが起こる理由はありますか?私はすべてが正しく実装されていることを確認できます。ありがとうございました! 編集:私のプロ

    0

    1答えて

    最近、ディープラーニングの場合、データを追加すると正則化は必要ないと説明したビデオを見ました。 これは、この文は、ランダムフォレストのような「通常の」機械学習アルゴリズムを保持していると言われていますか?もしそうなら、アルゴリズムの最適なハイパーパラメータを検索するとき、理論的には、入力データセットとして(もちろん、クロスバリデーションセットなどに分かれています)たくさんのデータを持っている必要が