特异モデルにおけるベイズ事後分布の 最适近似に関する研究.pptVIP

ベイズ事後分布の最適近似法の提案と有効性について 永田賢二　　渡辺澄夫 東京工業大学知能システム科学専攻 東京工業大学精密工学研究所 背景①：特異モデル 背景①：特異モデル 背景②：ベイズ事後分布の実現 目的 特異モデルのベイズ事後分布を比較的実装しやすい単純な確率分布を用いて近似する方法を提案する。 提案手法の近似精度が確率的複雑さを用いて評価できることを示し、その有効性を実験的に明らかにする。 ベイズ学習 ベイズ事後分布の近似 提案手法 提案手法 計算アルゴリズム １．学習データ数　　、コンポーネント数　　を設定する。 ２．ハイパーパラメータ の初期値を設定する。 ?メトロポリス法 ３．標準正規分布　　　　からのサンプル系列 を用いて と各パラメータの勾配 、 を計算する。 4．各パラメータの勾配をもとに によりパラメータの更新を行う。 ５．手続き３．４．を関数　　の値が収束するまで繰り返す。 実験 実験結果（K 1の場合） 実験結果（K 1の場合） 実験結果（K 1の場合） 考察 考察 まとめ?今後の課題 特異モデルのベイズ事後分布を比較的実装しやすい単純な分布で近似する方法を提案した。 提案手法の近似精度が確率的複雑さを用いて評価できることを示し、有効性を実験的に明らかにした。 今後の課題 より複雑なモデルへの適用 ハイパーパラメータの設定を変えて近似精度の改善 他手法の精度評価法の考案 実際に予測を行ったときの性質の解明 * * ニューラルネットワーク 混合正規分布 ベイズネットワーク これらのモデルは特異モデルと呼ばれ、パターン認識、 システム制御、時系列予測などの応用に用いられている。 フィッシャー情報行列が縮退するため統計的 正則モデルの漸近理論を適用することができない。 ニューラルネットワーク 代数幾何学的手法 過学習を起こしにくい 正則モデルより汎化能力に優れている ＜ベイズ学習では＞ ＜正則モデル＞ ＜特異モデル＞ サンプル系列が法則収束するまでの時間が正則 モデルと比較すると非常に大きくなる[Nakano,2004]。 ベイズ事後分布： MCMC法を適用すると ベイズ事後分布： 規格化定数： ベイズ予測分布： 経験カルバック距離： 規格化定数： ベイズ予測分布： ＜特異モデルのベイズ学習＞ ＜近似手法＞ MCMC法　　　　???事後分布に法則収束する サンプル系列を生成するアルゴリズム 変分ベイズ法　　???パラメータ間の独立性を仮定して 事後分布の近似を得る手法 確率分布 で事後分布 を近似することを考える （等号成立は ） 確率的複雑さ???代数幾何学的手法により、 その振る舞いが解明され始めている。 関数 についての 最小化を考えることで 事後分布の近似が得られる ：標準正規分布 ：パラメータ　　　の次元数 として、以下の混合正規分布を用いた場合を考える。 ハイパーパラメータ： 確率分布　　　　による　　　　の期待値計算 学習データの出方について平均した場合を考える。 カルバック距離： ベイズ事後分布： 確率的複雑さ： ＜学習モデル（ ）＞ 　　の最小化 K 1 ～ ＜ハイパーパラメータの初期値＞ はメトロポリス法で生成 K 1 K 5 K 15 K 50 事後分布 近似した分布 確率的複雑さ Re Im ：極 有理数） ：位数 自然数） 提案手法 ①ベイズ事後分布の近似精度の評価法 ②確率的複雑さの上限値の計算法 ?提案手法 を用いて 　　　近似精度を評価できる。 ?MCMC法 得られるものが 　　　サンプル系列であるため 　　　近似精度を評価できない。 ＜他手法との比較について＞