Qラーニングを使用するときにtheanoでニューラルネットワークのグラジエントを計算する方法

Question

Qラーニングにおけるアクション値の基礎として標準完全接続ニューラルネットを使用しようとしています。 Iは、Q学習ポリシー制御方法（http://webdocs.cs.ualberta.ca/~sutton/book/ebook/node65.htmlに記載されているように）セットを用いて、最後のアクションに関連付けられている私の出力ユニットの誤差を計算したい

gparams = [T.grad(cost, param) for param in classifier.params] 

：私は参考として具体的にこのラインをhttp://deeplearning.net/tutorial/mlp.html#mlpを使用してい他の出力誤差はゼロになる。

Theanoのgrad関数を使って、エラーをニューラルネットワークの残りの部分にバックプロパゲーションする方法はありますか？

Answer 1

ニューラルネットは、Q関数をパラメータ化する方法の1つに過ぎません。この場合、勾配降下を行う方法は、SuttonとBartoの本のsectionで説明されています。あなたのニューラルネットの重みをパラメータのベクトルとして扱うだけです。