私は様々な入力オブジェクトを分類するためにモデルを訓練する必要のある機械学習プロジェクトに取り組んでいます。簡単にするために、画像を猫や犬のいずれかを含むように分類できるモデルを作成しようとしていると仮定します。機械学習分類が行われる理由を説明する情報を提供するアルゴリズム
しかし、私はこれらのオブジェクトを分類することに興味があるだけでなく、なぜのアルゴリズムが画像を犬または猫として分類したかを理解することにもなります。
私は機械学習に新しいですので、どのようになじみのない午前：決定木はそうのように、一例は、例の機能に基づいて、一つの方法または別の分類される理由を説明する非常に素晴らしい視覚化を可能に多くの学習アルゴリズムが動作します。その例題の特徴に基づいて、入力例がどのように一方向に分類されているのか、または他の方法で分類されるのかについての洞察を与える視覚化（または情報）を可能にする他のアルゴリズムはありますか？
特定のパラメータがどのように出力分類に影響するかを視覚化するのに役立つ視覚化ツール（ニューラルネットワーク用）が1つあります。ネットワークがどのように特定のラベルを正確に分類しているかについての直感を与えるかもしれません。あなたがここでそれをチェックアウトすることができ ： http://playground.tensorflow.org/
を任意の線形および複雑な非線形分類器は常にニューラルネットワークに変換/表現することができるので、それはあなたがより良い一般化することができます。
深い学習モデル用に開発された強力な視覚化手法がいくつかあります。特に、画像分類を視覚化することは、十分に探索された空間です。上記のリンクはKerasのドキュメントからです
：だけの可能な方法のいくつかの名前を付けます。これらのメソッドのオリジナルの研究論文は、ドキュメントにリンクされています.Cerasは、高いレベルの説明を提供するうえで優れています。詳細を知りたい場合は、研究論文に飛び込むことができます。
私はあなたのモデルを構築するために何を使用しているのか分かりませんが、Kerasはこれらのメソッドを実装する優れた視覚化ツールをいくつか提供しています。私はここでGrad-CAMを使って学習プロセスを視覚化するブログ記事を書いた。それはいくつかのコンテキストを提供するかもしれませんし、実際のコード例へのリンクもあります：http://innolitics.com/10x/visualizing-image-classification/。