混合分布.ppt

* 江口　真透 ６．混合分布 『分布を混ぜる．』とはどんな考えだろうか？ 例えば，血が混じる，混血とはどう違うのだろうか？ 混合分布モデルの説明は意外と難しい．この困難さを乗り越えて７章，８章で展開されるパタン認識の問題の理解の ひとつの礎になることを目指す。 要論Ｂ　講義日程? １２/１８ １． Overview，ニューラルネット　　 （福水） ２． グラフィカルモデル （土谷） １２/１９ ３． 主成分分析 （南） ４． 独立成分分析 （南） １２/２０ ５．射影追跡法、 層別逆回帰分析 （栗木） １２/２１ ７．サポートベクター，ロジスティック （江口） ８．Ｂｏｏｓｔｉｎｇ 　 （福水） ６．混合分布 （江口） 確率モデルとして，分布が混合されることのクリアな説明を試みる． ○ 潜在変量＝グループ?ラベルの理解 ○ 最尤推定値を求める EM アルゴリズムの紹介 ○ 例題として，神経回路の量子解析のシナプス可塑性 分類の問題を考えるとき，確率モデルを考える必要性をする． 確率モデルは混合分布モデルの類似性から導入する． ○ ベイズルールの最適性を示す． ○ パラメトリックモデル，特に線形モデルを仮定して，プラグインルールの説明をする． このフレイムワークの下で　ロジスティック判別は自然に導入されることを示す． ○ トレーニング?ロス，汎化誤差の説明をする． ○ サポートベクター?マシンの説明 ○ VC次元の説明 ○ カーネル法の説明 混合分布 サポートベクター 混合分布モデル 混合比 成分分布 混合分布 の次元は，d R + ( R－1) である。ここで d は の次元を表す． パラメーター 分布を混ぜるって何？ ? ? ? ? ? ? ? 1-成分 r-成分 R-成分 次の設定で，正規分布を混ぜてみよう パラメータの次元は 7 2 4 4 1 2 3 4 3 3 4 4 -6 -4 -2 2 4 6 8 0.025 0.05 0.075 0.1 0.125 0.15 0.175 １ ２ ３ ４ 前の設定で，２次元正規分布を混ぜてみよう パラメータの次元は 11 ダミー（潜在）変数 Z の導入 混合分布モデル 混合比 成分分布 混合分布 x が与えられた時の Z = r の条件付密度は， ＥＭアルゴリズムはこの性質を利用して作られる． データ が得られたら パラメータ の最尤推定が実行できる 最尤推定 EM アルゴリズム 初期点: , 　データ E- ステップ: M- ステップ: ２次元正規混合（ガウシアンミクスチヤ－） ２次元ガウス分布 ３成分ミクスチュアー分布 ３成分ミクスチュアー 条件付き分布 カーネル型密度推定 カーネル関数 h：バンド幅 カーネル型密度推定 EMアルゴリズム １．初期値 ２．条件付き確率 を計算する ３　　更新値 を 計算する 4 　反復 とおいて，ステップ２に戻る 反復数１ 反復数１１ 反復数２１ 反復数３１ 反復数４１ 反復数５１ 反復数６１ 反復数７１ 反復数８１ ミクスチュアーモデル 次元 同時モデル … スコア‐ 100 -600 -500 -400 -300 -200 -100 0 共同研究 吉岡耕一氏 （ 東京医科歯科大学 ） シナプス 受容体 まんが 日経２０００ 『夢の技術展』@東京ビッグサイト *