第12回～第13回.pptVIP

Introduction to Soft Computing（第12回～第13回） 佐藤　裕二 講義内容（第12回目） マックスネット ベクトル量子化 学習ベクトル量子化 自己組織化マップ（SOM） 競合学習 ? 競合学習とは，提示されたデータ１つ１つに対してネットワーク全体が学習するのではなく，そのデータに最も近いユニットや重みだけが選択的に学習を行う方法． ? このような選択的学習原理を勝者丸取り（winner-take-all）という．勝者のみでなく，その周辺にあるユニットも準勝者として同時に学習することも行われる． マックスネット ? 図6.1にハミングネットを示す．ハミングネットは，任意の2進数よりなる入力ベクトルが，予め与えられたm個の2進数サンプルデータのいずれにハミング距離が最も近いかを示す機能を持ったネットワーク．ハミングネットは，マッチング部とマックスネットから構成される．マッチング部ではサンプルデータ s(1), …, s(m) と検査データ u との内積を求める．得られた内積はマックスネットの初期値として与えられ，マックスネットでは最大値以外は0に収束するため，最大値を検出できる． マックスネットの動作 手順1　xi(0) = Ai, i = 1, …, mとする．t = 0とおく． 手順2　1つを除いて全て0に収束するまで，あるいは最大繰り返し数に達していないとき次の(1), (2)を繰り返し実行する． (1) t = t+1 (2) 但し，f(x)は マックスネットの動作 マックスネットの動作では，eが小さいと収束は遅くなる．一方， eが大きすぎると全てのユニット値xi(t)が0となって正しい結果が得られないことがある． 最大値が複数あるときは最大値以外の数Ajに対応するxjはすぐに0に収束し，最大数Aiに対応するxiは同時にゆっくりと0に収束する．しかし，僅かでも差があればそのようなことは起らず，1つだけを除き0に収束する． 競合学習 (1)ベクトル量子化 (vector quantization) ? ベクトル量子化は、連続量のベクトル、あるいは取り得る値の非常に多いベクトルを比較的少ない個数の代表ベクトルで近似することでデータ圧縮を行うこと。 ? 入力空間をp個の領域{D1,…, Dp}に分割し、各領域Di内ではベクトルは類似しているとみなし、各々の領域にコードベクトルと呼ばれる１つの代表ベクトルwiを持たせる。コードベクトル全体の集合{w1,…, wp}をコードブックと呼ぶ。 ? 代表的なベクトル量子化器(vector quantizer)として、ボロノイ量子化器(Voronoi quantizer)がある。 ボロノイ量子化器 ? ボロノイ量子化器は、あるベクトルx?Rnを，ユークリッド距離が最も近いコードベクトルwiとして量子化するもの．同じベクトルに量子化される領域の境界は，下図のように，区分的に超平面となる． 競合学習 (2)学習ベクトル量子化 (learning vector quantization: LVQ) 学習ベクトル量子化の目的は、任意のベクトルxがクラスC1, …, C?のいずれに属するかを決定するパターン認識のためにコードブック{m1, m2, …, mk}を学習すること。コードブックの各コードベクトルはいずれのクラスを表現するか、予め決めておく。 LVQでは、あるデータxがどのクラスかを識別するのに多数あるコードベクトル{m1, m2, …, mk}の中でxにユークリッド距離の最も近いmiを探し出し、 miの属するクラスをxのクラスと判定する。そのようなコードブックを形成するために、各クラスごとに予め複数個のコードベクトルを用意し、競合学習の原理で学習して移動させる。 LVQによるクラス判定 下図では、斜線の引いてある３個のコードベクトルを学習後のクラス１のコードベクトル、残り３個を同じく学習後のクラス２のコードベクトルとするとき、入力ベクトルxに最も類似したコードベクトルがm2であればxはクラス１であると判別される。 SOM (Self Organizing Map) SOMは，T. Kohonenにより開発された教師なし学習方法であり，高次元データを1次あるいは2次程度の低次元空間に写像する． クラスタリング（テキスト参照） k 平均アルゴリズム 手順1　（初期化） m1, …, mkに最初のk個の学習データを割り当てる．すなわち，mt(k) = x(t) , t = 1, 2, …, k 手順2　（繰り返し） t = k+1, k+2, …, N に対して次の(1), (2)の計算を行う． (1)　（xに最も近いコ