ppt形式-东京工业大学.pptVIP

東京工業大学総合理工学研究科 知能システム科学専攻　渡辺研究室　 　　西山　悠，　渡辺澄夫 正規分布における ベーテ近似の解析解と数値解 背景 (高次元)確率分布 周辺確率 指数オーダ計算 例． 確率伝搬法(Belief Propagation;BP) 通り! 効率的な計算 Sum Product Algorithm 直接 確率伝搬法の応用研究 (i) ベイジアンネットを用いた確率的推論 (ii) 誤り訂正符号 (Turbo, LDPC 符号) (iv) 確率的画像処理 (iii) CDMA (符号分割多元接続) 000101 noise 000111 000101 decode 劣化 画像 復元 画像 復元アルゴリズム 確率伝搬法の問題点 ?グラフがループを持たないとき(BP) ?グラフがループを持つとき(Loopy BP;LBP) BPは，正確な周辺確率を計算 LBPは，近似的に周辺確率を計算 or LBPの解が収束しない場合もある． ?Y. Weiss,”Correctness of belief propagation in graphical models with arbitrary topology”, Neural Computation 13(10), 2173-2200, 2001. ?T. Heskes, ”On the Uniqueness of Loopy Belief Propagation Fixed Points”, Neural Computation 16(11), 2379-2414, 2004. Ex. 統計力学との接点 周辺確率 ベーテ自由エネルギー(汎関数) ベーテ近似解 LBPによって計算される 近似周辺確率(LBP解) LBP解 = ベーテ近似解 CCCP(A.L.Yuille, 2002) ベーテ自由エネルギーをConcave関数，Convex関数に分けて，関数の間の更新則を与え，極値に収束させる反復アルゴリズム concave convex ベーテ自由エネルギー = + concave convex 更新則 更新の様子 ー 本発表の位置づけ ベーテ自由エネルギーの最小化 CCCP 菊池自由エネルギーの最小化 一般化 ??? Extended CCCP Generalized BP (GBP) CCCP ??? Extended CCCP (3月NC研，玉川大学) (3月日本物理学会，年次大会) (Loopy) Belief Propagation 正規分布 ?LBPの近似精度 ?LBP収束条件 本発表 目的 ループの入った正規分布の場合に，ベーテ自由エネルギー の極値を与え，ベーテ近似の近似精度を解析する． ?正規分布 の精度行列 が， ベーテ近似解析解(LBP解析解) LBPが収束するための必要条件 (i)1重ループを表すとき (ii)任意のグラフで相関が小さいとき ベーテ近似解析解の展開式 LBPアルゴリズム LBP解 メッセージ メッセージの固定点 正規分布 1重ループ (i)1重ループ 定理2(LBP解) 定理1(メッセージの固定点) 真の周辺分布 ＊ベーテ近似の近似精度 LBP収束条件(1重ループ) 収束必要条件(1重ループ) 1重ル－プのLBPが収束するためには，精度行列 について， が成り立つことが必要． 例． のとき ＊十分条件にもなっていることを特殊な場合で証明（予稿集） 数値実験(1重ループ) LBP解析解 真値 LBP数値解 LBP数値解 (ii)任意グラフ(相関が小さい) 多重ループ 定理3(LBP解) 真の周辺分布 ＊相関が小さいときの 　　ベーテ近似の近似精度 補正 の性質 真値 LBP数値解 LBP解析解の展開式 LBP数値解の補正 周辺密度関数 の精度 木構造，1重ループ 一様全結合 まとめ ループの入った正規分布の場合にベーテ近似(LBP)の近似精度を理論的に明らかにした． (i)1重ループのとき ベーテ近似解析解(LBP解析解)を導出し，LBPの収束条件，近似精度を決定している量を解析的に明らかにした． (ii)任意のグラフ構造のとき 相関が小さいときの，LBPの近似精度を決定している量を 解析的に明らかにした． 今後の展開 ベーテ自由エネルギーの最小化 (Loopy) Belief Propagation CCCP 菊池自由エネルギーの最小化 一般化 ??? Extended CCCP Generalized BP (GBP) CCCP ??? Extended CCCP (3月NC研，玉川大学) (3月日本物理学会，年次大会) 正規分布 ?GBPの近似精度？ ?GBP収束条件？ 正規分布 ?LBPの近似精度 ?LBP収束条件