CaffeフレームワークのReLUのしきい値を変更してください

Question

私はCaffeを初めて使いました。畳み込みニューラルネットワークのReLUレイヤーのしきい値を変更する必要があります。私が今閾値を変更するために使用しているのは、caffe/src/caffe/layers/relu_layer.cppのC++ソースコードを編集し、それを再コンパイルすることです。ただし、これにより、ReLUが呼び出されるたびにしきい値が指定された値に変更されます。ネットワーク内の各ReLU層で異なる値をしきい値として使用する方法はありますか？ちなみに、私はpycaffeインターフェースを使用しています。そのような方法はありません。

最後に、英語の貧しい人には申し訳ありませんが、不明な点がある場合はお知らせください。詳しく説明します。

Answer 1

私が正しく理解していれば、あなたの "閾値とReLUは" 基本的に

f(x) = x-threshold if x>threshold, 0 otherwise 

ですを引いた"Bias"レイヤーを通常の"ReLU"の直前の入力から追加すると簡単に実装できますer

Answer 2

はい、可能です。 src/caffe/protoでは、行を追加します。

message ReLUParameter { 
    ... 
    optional float threshold = 3 [default = 0]; #add this line 
    ... 
} 

とsrc/caffe/layers/relu_layer.cppで

は、のようにいくつかの小さな変更を行う：

template <typename Dtype> 
void ReLULayer<Dtype>::Forward_cpu(const vector<Blob<Dtype>*>& bottom, 
    const vector<Blob<Dtype>*>& top) { 
    ... 
    Dtype threshold = this->layer_param_.relu_param().threshold(); //add this line 
    for (int i = 0; i < count; ++i) { 
    top_data[i] = (bottom_data[i] > threshold) ? (bottom_data[i] - threshold) : 
        (negative_slope * (bottom_data[i] - threshold)); 
    } 
} 

template <typename Dtype> 
void ReLULayer<Dtype>::Backward_cpu(const vector<Blob<Dtype>*>& top, 
    const vector<bool>& propagate_down, 
    const vector<Blob<Dtype>*>& bottom) { 
    if (propagate_down[0]) { 
    ... 
    Dtype threshold = this->layer_param_.relu_param().threshold(); //this line 
    for (int i = 0; i < count; ++i) { 
     bottom_diff[i] = top_diff[i] * ((bottom_data[i] > threshold) 
      + negative_slope * (bottom_data[i] <= threshold)); 
    } 
    } 
} 

と同様src/caffe/layers/relu_layer.cuのコードはthisようでなければなりません。

そして、あなたのcaffeとpycaffeをコンパイルした後、あなたのnet.prototxtでは、あなたのようなrelu層を書くことができます。

layer { 
    name: "threshold_relu" 
    type: "ReLU" 
    relu_param: {threshold: 1 #e.g. you want this relu layer to have a threshold 1} 
    bottom: "input" 
    top: "output" 
}