カーネル法のバイオインフォマティクスへの应用 - 京都大学.ppt

集中講義（九州大学数理学研究院）バイオインフォマティクスにおけるカーネル法およびグラフ理論 (2)カーネル法 京都大学　化学研究所 バイオインフォマティクスセンター 内容 サポートベクタマシンとカーネル法 タンパク質配列分類のためのローカルアライメントカーネル 化合物分類のためのグラフカーネル サポートベクターマシン(1) カーネル法の一つ、ニューラルネットワークと類似 1990年代に、Cortes と　Vapnik が発明 トレーニングデータとして与えられた正例と負例から、それらを分離する超平面を計算 機械学習、統計学、人工知能、パターン認識、バイオインフォマティクスなど様々な分野に応用 配列分類 タンパク質フォールド予測、二次構造構造 遺伝子発現データ解析 タンパク質相互作用予測 化合物の性質推定 c.f. Kernel Methods in Computational Biology, MIT Press, 2004 サポートベクターマシン(2) 正例と負例を与えて、それらを最適（マージンを最大）に分離する超平面を学習 カーネルを適切に定義することにより超平面以外での分離が可能 SVMによるテストデータの分類 学習データより超平面を学習(SVM) テストデータは、対応する点の超平面に対する位置（上下）で判定 カーネル サポートベクターマシン：基本的には超平面で分離 Φ(x) (特徴ベクトル）：「非線形曲面?超平面」に写像 カーネル：　K(x,y)=φ(x)?φ(y) x と y の類似度が高い ? K(x,y)が大 カーネルの定義 関数 K: X×X→ R がカーネル　　 iff. 　　X から内積空間 F への写像φが存在し、　　 　　とかける マーセルの定理 (1) X を有限空間とし、K(x,y) を X 上の対称関数とすると、 　K(x,y) がカーネル　　 iff. 　行列 K=(K(xi,xj)) (i, j=1,…,n) が半正定値 マーセルの定理 (2):証明 K は対称なので、K=VΛVt とかける。ただし、Λは固有値λi を対角要素とする対角行列で、V は直交行列。 vij=(V)ij とし、　　　　　　　　　　　　　　 とすると 一方、λs を負の固有値とし、 　とすると、 マーセルの定理 (3):連続値の場合 K(x,y) がカーネル iff. 任意の関数 f?L2(X)　に対して カーネルの性質(1) K(x,y)=φ(x)?φ(y) のとき、特徴ベクトル間の距離 ||φ(x)-φ(y)|| は 証明 カーネルの性質(2) Ki が以下を満たす時、K もカーネル カーネルの例(1) (x?y+c)d はカーネル 証明（d=2, c=0の場合） カーネルの例(2) K1, K2 がカーネルの時、以下もカーネル (i)(ii)より、カーネルの正係数の線形和もカーネル (i)(ii)(iii)より、カーネルの正係数の多項式もカーネル カーネルの例(3) (i) f(x): X →R ? f(x) f(y) はカーネル 証明 (ii) exp(K(x,y)) はカーネル 略証： 指数関数は正の係数を持つ多項式により任意の精度で近似でき、また、カーネルの多項式もカーネルとなるため、性質（２）によりカーネルとなる カーネルの例(4) exp(-||x-ｙ||2/σ2)　はカーネル 　　　　　　　　　（Gaussian RBF kernel） 証明 最初の二項の積は例(3-i)によりカーネル、 　　最後の項は例(3-ii)によりカーネル、 　　それらの積は例(2-iii)によりカーネル カーネルの例(5) 以下は必ずしもカーネルとはならない サポートベクターマシン: 定式化(1) 学習データ：　Rd 上の点とラベルのペアの集合 yi=1 ? 正例　　　 yi=-1 ? 負例 最適化問題　（凸二次計画問題） (w,b): Rd 上の超平面 h: w?x+b=0 に対応 1/||w||: h から一番近い xi までの距離（=margin) サポートベクターマシン: 定式化(2) サポートベクターマシン: 双対化(1) 問題の双対化 もとの問題のラグランジアンは　　　　 　　　(|S|=l) w と b について微分をとり 上記をもとのラグランジアンに代入し サポートベクターマシン: 双対化(2) 双対問題　（凸二次計画問題） マージン サポートベクターマシン: 双対化(3) KKT相補条件 サ