統計力学を用いた情報通信技術入門.pptVIP

確率モデルを用いた情報通信技術入門ー誤り訂正符号を中心にー 東京工業大学大学院 知能システム科学専攻 樺島祥介 概要 誤り訂正符号とは 低密度パリティ検査符号 レプリカ法による性能評価 平均場近似による復号 誤り訂正符号とは 情報通信において、冗長な情報表現により送信誤りを訂正する符号化技術 パリティ検査 I 例） 7,4 ハミング符号の仕組み パリティ検査 II パリティ検査 線形写像と符号化/復号 符号化は線形写像 低密度パリティ検査符号 I 7,4 ハミング符号を一般化 N　ビットの符号語を　K　ビットから作る ただし、パリティ検査行列 H をランダムに生成 低密度パリティ検査符号 II K×N　生成行列　GT s.t. HGT 0 復号問題とベイズ統計 ノイズ ｎ は確率的 ベイズ統計 　P n|z 　＝　P z|n P n 　 　δ z Hn P n ノイズビット毎の最適推定 性能評価問題 自然な疑問： 低密度パリティ検査符号はどの程度の誤り訂正能力を備えるか？ 符号の能力はパラメータ k,j にどのように依存するか？ ＃とりあえず計算コストは考えないことにする 性能評価指標 ノイズ推定の平均ビット誤り率 伝統的符号理論の接近法 大自由度性（通常、N，Kは数千～）、離散性のため直接評価困難 評価の容易な間接的指標（確率の上界、最小符号語間距離等）に帰着 厳密ではあるが、あくまでも上界評価 痒いところに手が届かない 議論の展開が難解 統計力学による接近法 磁石の模型との類似性、大自由度性を利用した直接的評価 痒いところに手が届く 議論の展開が素直 厳密性はこれからの課題 ゲージ変換 n の推定値を真値からの相対値で表現 シンドロームは常にz 0 推定値niの0,1が誤りのインジケータ レプリカ法 「2重平均」を系統的に評価する方法 予稿参照 平均場モデル 要素間の入れ換え対称性＋大自由度性 レプリカトリックは平均場モデルなら容易に実行可能 平均場モデルとしての低密度パリティ検査符号 入れ換え対称性 個々のＨにはない 平均的にはある 大自由度性 N,K :103～ 性能評価の例 N 104, k 4, j 3 復号のコスト 復号に必要な期待値 Σni P n|z の計算はNP困難 なのになぜ復号できてるの？ 統計力学の知見に基づく近似アルゴリズム 統計的情報処理の計算コスト ベイズ統計による情報処理 見通し良い．性能良い． 計算量的に実現困難． 例）誤り訂正符号の復号 グラフ構造と計算可能性 I ただし、相互作用が特殊なグラフで表現される分布では爆発が生じない 　結合無し（自明な例） グラフ構造と計算可能性（II） 1次元鎖 　以下の量を定義 転送行列法 漸化式 端から端でO N 平均 グラフ構造と計算可能性（III） 木 転送行列法は木にも 　一般化可能　 　 一般の分布で困難な理由 一般のグラフは分割不可能 平均場近似 計算困難な分布を計算が容易な分布で近似する ナイーブ平均場近似 KLダイバージェンスを最小化するように を決める ベーテ（Bethe）近似 局所的に木構造を仮定して近似 低密度パリティ検査符号の復号アルゴリズム Loopy Belief Propagation等とも呼ばれる どんな理屈から導出されるのか？ 木構造とKLダイバージェンス（I） 補題：Junction Tree Algorithm ループがなければ結合確率を高速に以下の表現に書き直すことが可能 木構造とKLダイバージェンス（II） 試験関数を以下のように仮定 KLダイバージェンス 木構造とKLダイバージェンス（III） KLダイバージェンスを最小化 答えはJTAの解（当たり前） Reducibility が存在 ?Lagrange未定乗数 Lagrange未定乗数の決定 未定乗数は以下の方程式から決まる 反復法で解ける 反復アルゴリズムは局所的な情報にしか依存していない！ 非木構造への拡張 一般のグラフに対しても以下のコスト関数 未定乗数の反復アルゴリズム 低密度パリティ検査符号とベーテ近似 ベーテ近似の復号ななぜうまくいく？　 低密度パリティ検査符号はランダムグラフ ループは存在 ただし、ループの長さはO ln N 程度 N→∞でループの影響は無視できる 木構造による近似の妥当性 まとめ 大規模統計モデルに基づく情報処理 性能評価問題 アルゴリズム開発 物理学における常套手段 解析解の求まる 平均場 モデルを構成 解析解を起点に摂動で接近 この接近法はおそらく情報科学でも有効 参考文献 岩波講座　物理の世界 学習と情報の平均場理論