ANNの最適な学習ルールを見つける

Question

複数カテゴリの分類など、特定の問題に対して最適な学習ルールを見つけるにはどうすればよいですか？

私は遺伝的アルゴリズムを使用することを考えていましたが、パフォーマンスを取り巻く問題があります。私は教科書の学習規則を使用していない現実世界の例を探しています。

Answer 1

良い質問BTW。アルゴリズムは強く何を好む（または、このアルゴリズムのために最も適しているデータの種類）ん

1. ：

   分類アルゴリズムは、多くの特性などを用いて分類することができます。

2. トレーニングオーバヘッド。 （訓練に時間がかかります）
3. 効果があるのはいつですか。 （大きいデータ - 中程度のデータ - 少量のデータ）。
4. それが提供できる分析の複雑さ。
したがって

、あなたの問題のため分類する複数のカテゴリそれは小さなメディアへのデータサイズ（訓練例の数千万未満）と完璧だので、私は（SGD）からをオンラインロジスティック回帰を使用し、それは本当に速いです。

もう一つの例：

のは、あなたがテキスト大量のデータを分類する必要があるとしましょう。 Naive Bayesはあなたの赤ちゃんです。それはテキスト分析を強く好むからです。さらにSVMとSGDは、より速く、私は訓練を受けた方が簡単です。これらの規則「SVMとSGD」は、データサイズが中程度または小さいとみなされ、大きくないと考えられる場合に適用できます。彼はどんなMLやシンプル採掘プロジェクトを開始したいとき

一般的に任意のデータマイニング人は自己4つのafomentionedポイント彼に聞いてきます。

その後、あなたがやっていることを確認するために、そのAUC、または任意の関連を測定する必要があります。 1つのプロジェクトで複数の分類子を使用する場合があるためです。またはあなたが完璧な分類子を見つけたと思うときには、いくつかの測定技術を使用しても結果が良くないように見えます。あなたが間違っていた場所を見つけるためにあなたの質問をもう一度チェックし始めるでしょう。

私が手助けしたことを願っています。

Answer 2

ベクトルxをネットに入力すると、ネットはすべてのウェイト（ベクトルw）に依存して出力されます。出力と真の答えとの間に誤差が存在する。平均誤差（e）は、wの関数です。e = F(w)としましょう。あなたは1層・2次元のネットワークを持っていると仮定し、その後、Fのイメージは次のようになります。

私たちは訓練について話

は、私たちが実際に最小限の eます w見つけることについて話しています。言い換えれば、関数の最小値を調べています。 列車にはを検索することです。

質問すると、検索する方法を選択する方法があります。私の提案は：F(w)の表面がどのようにのように見えるかによって決まります。グラディエント降順に基づく簡単な方法は、ローカル最小値にトラップするより大きなチャンスを持つため、グローバルな最小値を見つける機会を失うため、よりランダム化されたメソッドを使用する必要があります。別の面では、F(w)の顔が大きなピットのように見える場合は、遺伝的アルゴリズムを忘れてしまいます。単純なバックプロパゲーションやグラデーション降順に基づくものは、この場合非常に良いでしょう。

の表面の外観を知るにはどうすればよいですか？それは経験のスキルです。または、wをランダムにサンプリングして、F(w)を計算して、サーフェスを直感的に表示することもできます。