2016-04-05 7 views
1

ROCカーブは、TPR対FPRをプロットし、トレーニングセットの確率のランクオーダーに基づいてしきい値を変更します。ピックされる閾値は、左上の最もコーナーの点に関連する確率である。それは基本的にTPRを最大化し、偽陽性率を最小限に抑えます。偽陰性率を最適化するためにROC曲線をどのように切り替えることができますか?

しかし、私のアプリケーションで偽陰性率の最小化について話していますか?そして、この曲線はどのように変化しますか?両者のバランスはどうですか?

+0

ROC曲線は、彼らはただFPR対彼らのTPRを表示し、任意のしきい値を選択しないでください。組み込みのしきい値ピッカーはありません。 – Calimo

+1

左上隅のしきい値はFPRとFNRを最小化しません。それはTPとFPのバランスが良い点です:* FPを使用しない場合は、しきい値を0にすることができますが、TPを持たない(そして多くのFNと、かなり役に立たないクラシファイア) )。あなたのFNがあなたのFPよりも重くなるように、つまりあなたのFNにさらにペナルティを与えたい場合は、分類器を適合させるときに損失行列を使用してください。しかし、多くの図書館ではそれを受け入れていませどんな種類のモデルを使っていますか? – lrnzcig

+0

ご意見ありがとうございます。それは私がモデルから独立していた単なる質問だった。一部のアプリケーションでは、偽陰性の重みが高くなります。損失行列の適用について検討します。しかし、あなたのコメントから、ROCプロットはFNのバランスをとるのに役立たないでしょう。おそらく私はTNとFNをプロットし、そのAUCを取得し、2つのAUCを一緒に加重すれば? – SriK

答えて

2

ROC曲線が何であるか誤解しているようです。

しきい値としてTPR対FPRをプロットしたROC曲線が変化します。その結果、ROC曲線は実際には3つの変数:FPR、TPR、およびThresholdの間の関係をプロットした3次元グラフです。グラフ上の各点は、実際のTPRおよびFPRが特定の閾値に対するものであることを反映する。グラフの左下隅には常に1のしきい値が反映され、右上隅には0のしきい値が反映されます。

ROC曲線には、2つの異なるモデルがあります。適切なしきい値を選択します。予測分析アプリケーションの「適切なしきい値」は、攻撃している特定の問題に基づいてかなり異なりますが、一般的に、ROC曲線を使用して、特定のアプリケーションで受け入れ可能なTPR/FPRトレードオフを持つしきい値を選択できます。左上隅に最も近いポイントのしきい値を単純に選択すると、理想的な結果が得られることはめったにありません。

ROC曲線から理想的と思われるしきい値を選択すると、混乱行列やその他の評価指標(精度、再呼び出し、精度、F1など)を調べて、しきい値をさらに評価できます。

あなたの直接の質問に答えるには、ROC曲線にFNRが直接表示されていないことが間違いありません。この場合、ROC曲線と同様にTPRとTNRをプロットするSensitivity/Specificityグラフを使用することができます。私が知っている標準的な評価方法はFNRに直接見えるものはありません。代わりに、私は通常、自分のデータの「正」と「負」のラベルを切り替えて、ROCカーブを元に戻します。これは、(効果的に)TNR対FNRを与える。

1

ただし、偽陰性率を最小限に抑えることについて私のアプリケーションで話していますか?そして、この曲線はどのように変化しますか?

この曲線はまったく同じです。しかし、左上の点(pictureの左の円)を選択しなくなりました。代わりに、最大化しようとしますtrue positive rate (1-FNR).これは、すべての点を陽性として割り当てると、真に最大になります。これが分類を無視する(=ばかげている)ので、ROCの右上に近い点を選択します(右の画像)。

両者のバランスはどうですか?

左上と右上の間の点(写真中央)

three points on roc curve

関連する問題