强化学习と关数近似.ppt

強化学習と関数近似 強化学習を用いたバックギャモンプレイヤーの生成 TD-Gammon 状態価値関数と行動価値関数 離散型状態価値関数 関数近似による価値関数 バックギャモン ニューラルネットワークによる勝利確率推定 入力情報 重みの更新 重みの更新 対戦結果 定石の変化（第1手） * * 前回までは 行動価値関数Qを推定 状態 st 行動 at Q(st,at) 時刻tで状態stにいるとき行動atをとる価値 もうひとつの考え方として 状態価値関数Vを推定 時刻tで状態stにいる好ましさ（価値） V(st,at) 本論文では状態価値関数Vを使う 0.1 0.2 … 0.1 0.3 0.0 1.5 1.0 0.5 0.1 状態s 状態価値V 状態s 状態価値V 状態s 状態価値V バックギャモンの一般的な初期状態 赤の駒の動き方 白の駒の動き方 ….. ….. ….. 入力層 中間層（40－80） 出力層 盤面の情報 198 入力 勝利確率の予測値 TD誤差 バックギャモンの各ポイントについて白黒それぞれ4ユニット（入力層ノード）を使う 4（ユニット）×2（白黒）×24（バックギャモンのポイント）=192（ユニット） 例）　ある1ポイントに対する白の数について 白なし : 4入力すべて0 1個 : 最初の1ユニットが1 2個 : 最初から2個のユニットが1 3個 : 最初から3個のユニットが1 4個以上 : (n-3)/2 （n: 駒の数） バー上にある白と黒の駒数をコード化（2入力ユニット） n/2 （n: バー上の駒の数） n/15 （n: 取り除かれた駒の数） 盤面から除かれた白と黒の駒数(2入力ユニット) 白黒いずれの番か(2入力ユニット) 誤差逆伝播法（BP法）を用いる Z :ゲームの結果 1: 勝ち 0： 負け とすれば となり zの値がわかるのは1ゲーム終了後であるため、 重みの更新もそれにしたがい、 m+1 : 終了時刻 (1) (2) ここで ただし と考えることができるので (3) (1)(2)(3)より、 この式にトレース減衰パラメータλを考慮すれば ここで適格度トレースを定義する 以上から Draw -13/5 -7/38 -1/40 +6/20 他のプログラム Robertie 等 グランドマスター Robertie Kazaros 300,000 300,000 800,000 1,500,000 1,500,000 40 80 40 80 80 TD-0.0 TD-1.0 TD-2.0 TD-2.1 TD-3.0 結果（点/ゲーム） 対戦相手 訓練ゲーム数 中間層 プログラム *