正规确率过程へ.PPT

Statistical Physics and Singularity Theory 広義統計物理学 と特異点論 渡辺澄夫 東京工業大学 統計物理学とは??? 真の分布　と　学習モデル 特異点の問題 学習の統計力学(1) 学習の統計力学(2) 自由エネルギーと経験過程 特異点のエントロピー 特異点解消定理 学習曲線 学習係数 統計的正則モデルと特異モデル 真の分布がモデルの外にあるとき もっと詳しく見たい！ 相転移点の解析 具体例 汎化誤差と学習誤差 漸近展開 対応する正則モデル モデルと確率分布 外在的なものの意義 統計的な有効性と　　　座標不変性は両立するか？ 結論 * * 微視的な方程式 PV =nRT 巨視的な量 が従う法則 ハミルトニアン P V 興味のない自由度に 　ついて和を取る W S=logW si sj wij* y: 隠れ部分 x: 見える 例 推測 真の分布 p(x|w*) 学習者 x: 見える si sj wij y: 隠れ部分 p(x|w) 　W* = {w; p(x|w*)=p(x|w) (?x) } ? W W W* D(w*||w) = ∫p(x|w*) log dx p(x|w*) p(x|w) W D(w*||w) =0 : 解析的集合 特異点 相対エントロピー 事後分布も最尤推定量の分布も正規分布には漸近しません。 学習者 : p(x|w) , 事前 φ(w) 真: q(x) n 個の例 Dn={xi} W 上の ボルツマン分布 e －n Hn(w) φ(w) dw １ Z p(w|Dn) dw = E[ Hn(w) ] = D(q||pw) ＝H(w) Hn(w) = ∑ log q(xi) p(xi|w) n i=1 ランダム ハミルトニアン 1 n p(x|Dn) = ∫p(x|w) p(w|Dn) dw 予測分布 ∫q(x) log dx q(x) p(x|Dn) マクロ変数 G(n) = E[ ] n G(n) 学習曲線 G(n) = F(n+1) - F(n) 自由エネルギー F (n)　= －E [ log ∫e －n Hn(w) φ(w) dw ] と定義すると n Hn(w) = n H (w) + {nH(w)}1/2 σn(w) σn(w) →σ(w) H(w)=0が正規交差特異点なら Well-defined : 正規確率過程へ Z(n) = ∫e -nH(w)　φ(w) dw H(w) = D(w*||w) 分配関数 v(t) = ∫ δ(t – H(w) )φ(w) dw 状態密度 ラプラス変換 ζ(z) = ∫ H(w)z　 φ(w) dw 　 ゼータ関数 メーリン変換 W H(w) 0 W0 g U locally U0 H(g(u))=a(u) u1s1 u2s2 ??? udsd a(u)0 正規交差点 　(-λ): ζ(z) の一番大きな極、ｍ：位数 F(n) = λlog n –　(m-1)loglog n ζ(z) = ∫H(w)zφ(w) dw ゼータ関数 ある w* ∈ W があって q(x) = p(x|w*) のとき Neural Computation,13(4),899-933,2001. パラメータ空間 det I(w*)＞0, φ(w)0ならば 　　　λ=d/2 (d: wの次元) (2) det I(w*)=0,φ(w)0 ならば 　　　λ d/2 (３) φ(w): ジェフリーズならば 　　　λ≧ d/2 NIPS, 13,329-335,2002 正則モデル 正規分布、指数分布、多項式回帰 特異モデル 　　神経回路網　 （Watanabe,2001) 混合正規分布 (YamazakiWatanabe,2002) 　　ベイズネットワーク (RusakovGeiger,2002) 縮小ランク回帰 (WatanabeWatanabe,2002) その他、隠れマルコフモデル、ボルツマンマシンなど Neural Networks, 14(8),1049-1060. n:学習例数 G(n) 真の分布 パラメータ空間 n:学習例数 G(n) ここでは何が起こっているか？ Watanabe,S.＆Amari,S.NIPS,15,to appear. エネルギー　対　エントロピー　 関数近似誤差　対　統計的推測誤差 D (特異点|| 真の分布)