确率的主成分分析.PPTVIP

ミルコ?クロコップ * * * * * * 第12章　連続潜在変数 修士 1年 村下 昇平 * もくじ 主成分分析とは？ 一般的な主成分分析の目的と定式化 主成分分析の応用 確率的主成分分析 通常の最尤推定とEMアルゴリズムによる最尤推定 ベイズ的主成分分析 その他の話題 因子分析やカーネル主成分分析 非線形潜在変数モデル 0. 主成分分析とは？ この章では様々なアプローチによる主成分分析について扱います。 っていうか、主成分分析ってよく聞くけど、そもそもなんなんですか？ …というところについてはあまり説明されていないので、とりあえず勝手に調べてみました。 0. 主成分分析とは？：そもそもの目的。 ひとことでいえば「データ分布を扱う空間の基底を、より最適な別の基底に変換してから変量を解析する手法」。この「最適な基底」とは分散が最大になる方向で、それは分散共分散行列の固有ベクトルとなる(詳しくはこの後やります)。 下図のばあい、基底変換後の l2 軸周りにはほとんど情報量がなく、l1 軸周りに情報が集中していることが分かる(というか、そうなるように基底を選ぶのが主成分分析だ！)。 l2 は無視してしまうことで、2次元で扱っていたデータを 1次元だけで比較することが可能になる。…こうした(情報量の損失を最小化するという条件のもとでの)低次元化の手法が主成分分析！ 0. 主成分分析とは？：分散が最大って？ じゃあなんで「分散が最大となる方向」で情報量の損失が最小化されるの？ いま、上図における点A(x1,x2)に注目すると、第1主成分z1のみでデータを代表させる場合の情報量はOBで与えられる(ここで、点Oはz1軸の原点であり、データの重心である)。このときOAが元の情報量であるが、このような各点における情報量の損失(OAとOBの情報量の差の総和、すなわち AB2=OA2 – OB2 の総和)を最小化するには、OBの総和、すなわち軸まわりのばらつきを抑えたい、ってことになる。 したらば、たしかに「分散が最大となる方向」にとった軸まわりでこの総和が最小となるよね… 0. 主成分分析とは？：簡単な定式化 既に説明した通り、主成分分析とはD次元データを MD であるようなM個の変数を用いて近似することである。すなわち xn を以下の近似式によって近似するということになる。 ここでuiはD次元の正規直交基底(互いに直角な単位ベクトル：第1～第D主成分)である。 また、{zni}はその特定のデータ点に依存している（失われていない情報）が、一方{bi}はすべてのデータ点に共通な定数と考える。 この近似式を用いると、情報損失は次の歪み尺度Jによって表される。 すなわち主成分分析の目的はこのJの最小化であると言える。 …で、肝心の最小化(第1, 第2節)に関しては省略しちゃいますが、結局共分散行列の（相対的に大きな）固有ベクトルとなるわけです。 1.3. 主成分分析の応用 次元削減をするということは… 特徴抽出、すなわち文字認識の際に位置や大きさのばらつきを正規化するのに用いられたり…(主成分を潜在変数とみなし、得られたデータがこれに従うと考えることで、「情報損失」を「ノイズ」として解釈することになる) 非可逆データ圧縮に利用したりできる。 データ圧縮の例。原画像は28pixcel×28pixcel、すなわちD=784次元のデータであるが、M=250で十分に表現されていることがわかる。 1.3. 主成分分析の応用 また、必ずしも次元削減だけでなく… 平均を0、共分散行列（各々の分散だけじゃない！）を単位行列にするような白色化（球状化）を行うことで異なる変数を無相関化できたりする。 様々な前処理の例。左が元データ。中央は個々の変数について平均を0、分散を1に標準化したもの（赤線は規格化されたデータ集合に対する主軸となっている）。そして右は主成分分析による白色化（平均が0、共分散行列が単位行列）。 2.確率的主成分分析 というわけで、本節では主成分分析が確率的潜在変数モデルの最尤解としても表現されることを示す。 このような形で定式化された主成分分析を確率的主成分分析と呼ぶ。 確率的主成分分析の利点は次の通りである。 モデルがデータ集合の主要な相関の構造を捉えることができることに加え、（制約付きのガウス分布に基づいているため）自由パラメータの数を制限できる。 主成分分析を行うためのEMアルゴリズムを導くことができる。これは上位の固有ベクトルのみが必要な（Mが小さい）状況では計算効率が良く、途中でデータ共分散行列を計算する必要もない。 確率モデルとEM法の組み合わせにより、データ集合内の欠損値を扱え