学习向量量化网路k-means.pptVIP

Learning Vector Quantization 學習向量量化網路(LVQ) 學習向量量化網路(LVQ) 1988年Kohonen提出 監督式學習網路 尋找接近輸入向量的權重值 與VQ最大的不同是LVQ具有目標輸出值 學習速度比BPN快 缺點 所需隱藏層神經元數與輸出神經元數成正比，且須數倍於輸出神經元 學習向量量化網路(續) 基本概念 假如輸入向量x與權重值wc屬於同一種分類，則修正權重值，使其趨近於輸入向量x 假如輸入向量x與權重值wc屬於不同分類，則修正權重值，使其遠離輸入向量x 亦即，一群具有M維輸入向量的訓練範例可視為一個M維空間中的一群樣本點，而且一個分類其樣本點可能散佈成數群，各有各的匯聚點，LVQ即藉樣本點來估計各分類的各群匯聚點座標（學習過程相當於在樣本空間中搜尋各分類的匯聚點座標） 學習向量量化網路(續) 網路架構 學習向量量化網路(續) 學習向量量化網路(續) 學習向量量化網路(續) 學習演算法 Step 1.設定起始權重值矩陣與學習速率 Step 2.當未符合終止條件時執行Step 3-7 Step 3.對每一個輸入向量執行Step 4-5 Step 4.尋找||x-wJ||中最小者為優勝單元 Step 5.修正權重值 Step 6.修正(減少)學習速率 Step 7.測試停止條件 學習向量量化網路(續) 停止條件的選擇 給訂一定次數的學習循環(i.e. 10000次) 或是學習速率達到所給訂的最小值時 學習向量量化網路(續) 起始權重值矩陣 在n組輸入向量中，依分類的種類數個數m，取前m筆為起始權重值矩陣，剩餘的n-m個訓練範例當作Training patterns 以亂數取權重值矩陣?(0,1) 用k-means 聚類或SOM決定權重值矩陣 學習向量量化網路(k-means) K-means演算法 學習向量量化網路(k-means) K-means演算法的收斂 在Step 3中的聚類圓心座標不再有任何改變時，即代表網路達到收斂 範例 學習向量量化網路(k-means) 學習向量量化網路(k-means) 學習向量量化網路(k-means) 學習向量量化網路(k-means) 學習向量量化網路(k-means) 學習向量量化網路(k-means) 學習向量量化網路(續) 範例 學習向量量化網路(續) * * ………… ……………. ………… 輸入層 Input vector 隱藏層 聚類圓心座標 輸出層 Class + 7 2+ + 8 +4 5+ 1+ + 3 +6 訓練範例的採樣點 o 起始分類的匯聚點 x o x o 第一個訓練範例 x o x 1+ o 第二個訓練範例 x o x o 第三個訓練範例 x o x 2+ + 3 o 第四個訓練範例 x o x +4 o 第五個訓練範例 x o x 5+ 排斥 吸引 o 真實的分類規則 x o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x o 第七個訓練範例 x o x + 7 o 第八個訓練範例 x o x + 8 o 第一次學習循環之後 的分類匯聚點 x o x o 第六個訓練範例 x o x +6 排斥：優勝單元的分類與目標輸出值不同時產生 吸引：優勝單元的分類與目標輸出值相同時產生 Step 1. 起始設定 依照分類個數(k)以亂數決定k個圓心座標 {c1(m), c2(m), …,ck(m)} m:第m次學習循環 Step 2.以下列公式分配所有訓練樣本（計算與各分類圓 心座標的距離） Step 3.計算新的聚類圓心座標 Step 4.測試是否收斂 Pattern[1]=(0,0) Pattern[2]=(1,0) Pattern[3]=(0,1) Pattern[4]=(2,1) Pattern[5]=(1,2) Pattern[6]=(2,2) Pattern[7]=(2,0) Pattern[8]=(0,2) Pattern[9]=(7,6) Pattern[10]=(7,7) Pattern[11]=(7,8) Pattern[12]=(8,6) Pattern[13]=(8,7) Pattern[14]=(8,8) Pattern[15]=(