フィッシャーの线形识别.ppt

* * * * 第４章　線形識別モデル 修士２年 松村草也 4章の流れ 線形識別モデルとは ある入力ベクトルxの要素を，K個の離散クラスCｋに分類することを目的とする． 一般的に各クラスは互いに重ならず、各入力は一つのクラスに割り当てられる。 分類先を決定領域と呼ぶ． 決定領域の境界を決定境界?決定面と呼ぶ． 線形識別モデルとは 決定面が入力ベクトルxの線形関数で， D次元の入力空間に対して，決定面はD-1次元のモデル． 線形決定面によって正しく各クラスに分類できるデータ集合を線形分離可能であるという． 分類問題の表記方法について 回帰問題では目的変数tは実数値ベクトルだった． 分類問題では離散的なクラスラベルを表現するための方法がいろいろある． ２クラス分類問題における確率モデルの場合，２値表現が一般的である． K2クラスの場合は，目的変数に対して1-of-k表記法を使用するのが便利である． クラスがCjの場合，j番目の要素を除くtの要素がすべて0であるような長さKのベクトルが使用される． 識別関数モデル さらに一般的に事後確率を予測するため，非線形関数f(?)によって一般化する． f(?)を活性化関数(activation function)とよぶ． パラメータについて線形な関数 (4.3) 識別関数モデル – 2クラス y(x)0ならば，xはクラスC1に割り当てられ，それ以外はC2に割り当てられる． wは重みベクトルと呼ばれ，決定境界の傾きを決める． w0はバイアスパラメータと呼ばれ，原点からの境界のずれを決める． 関係を図示するとわかりやすい． 重みベクトル バイアスパラメータ （マイナスの場合は閾値パラメータ） 入力ベクトル まず，単純な線形識別関数についてクラス分類方法を考える． (4.4) 識別関数モデル – 2クラス 2次元線形識別関数の幾何的表現． 赤で示された決定面はwに垂直である． 原点から面までの距離はバイアスパラメータw0によって制御される． 決定面（境界）のどちら側にあるかによって，入力ベクトルのクラスを判別する． 決定面 重みベクトル 入力ベクトル 多クラスへの拡張?問題点 次に，K=2クラスの線形識別をK2のクラスへ拡張することを考える． 多くの2クラス識別関数の組み合わせでKクラスの識別が構成可能だが，単純に行うと曖昧な領域が生まれてしまう． 1対他分類器(one-versus-the-rest classifier) ある特定のクラスに入る点と入らない点を識別する2クラスをK-1個用意する方法． 1対1分類器(one-versus-one classifier) すべてのクラスの組み合わせを考え，K(K-1)/2個の2クラスを用意する方法 そこで， というクラスをK個用意する．各xについてはyk(x)の大小を比較することでどのクラスに分類するか決まる．値が等しい時は決定領域になる． 多クラスの決定方法 ベクトル　　については，下記が成立． 決定領域Rは単一接続しており， 凸領域である． 最小二乗法を用いた分類 3章ではパラメータに関する線形モデルを考え，二乗和誤差の最小化により，最適なパラメータが解析的に求められることを確認した．そこで同じ定式化を分類問題にも適用してみる． 一般的なKクラス分類問題についても最小二乗を使用する理由は，入力ベクトルが与えられた際の目的変数値の条件付き期待値を近似するから（？） しかし，推定された確率は一般的に非常に近似が悪く，線形モデルの柔軟性が低いために，確率の値が(0,1)の範囲を超えてしまうこともある． 最小二乗法を用いた分類 の二乗和誤差関数を最小にすることを考えた．二乗和誤差関数は， と，書くことができる．ただし，T=tnT Wに関する導関数を０とおくと 3章では 最小二乗法を用いた分類 最小二乗法は識別関数のパラメータを求めるための解析解を与えるが，いくつかの難しい問題を抱えている． 2.3.7節で，最小二乗法は外れ値に対する頑健さが欠けていることを見た． 3クラスの分類に対しても十分なクラスを集合に対して与えられない． これは，最小二乗法は条件付き確率分布にガウス分布を仮定した場合の最尤法であるが，２値目的変数ベクトルは明らかにガウス分布からかけ離れていることが原因である． 最小二乗法の脆弱性 緑色はロジスティック回帰モデル，紫は最小二乗によって得られる決定面． 外れ値が右下にある場合，最小二乗は過敏に反応していることがわかる． 下段は３クラスの分類． 左図は最小二乗による分類．緑色のクラスについては誤識別が大きい． 右図はロジスティック回帰モデルで，うまく分類できていることがわかる． 次元の削減 次元の削減，という観点から線