(competitive phase) 计算欧几里德距离.PPT

X：輸入向量(資料) W：鏈結向量(權重) Eta：學習速率(yita) n：疊代次數 * * * * * * * * * * * * * * * * * * * 授課教授：王榮華 人工智慧─競爭式學習法Competitive Learning  Outline 簡介 流程圖 競爭式學習法的運作 歐基里德距離 範例 * * 簡介 競爭式學習法，又被稱為Kohonen學習法或 贏者全拿學習法(Winner-take-all learning rule) 的 單層類神經網路，架構如下圖所示 * * 競爭式學習法之網路架構 Flowchart * * 初始化神經元及資料 神經元們開始競爭(比較距離) 獲勝的神經元調整權重 計算資料與各群中心的距離 分群完成 Yes 檢查停止訓練條件是否吻合 No 打亂資料順序 競爭式學習法的運作 步驟一：競爭階段 (competitive phase) ? 計算歐幾里德距離，選出最小者得勝 中獲勝的神經元 步驟二：獎勵階段(reward phase)?調整得勝者的權重 * * 輸入資料 神經元權重 歐基里德距離 給定兩個點 P = (x,y) 和 Q = (z,t)，定義距離： Ex: P = (1,1) 和 Q = (1,3) * * . 權重調整 * * A+B=C ? B=C-A = x (n)-wj*(n) η(eta)：學習速率 w：神經元權重 n：疊代次數 x：輸入資料 競爭式學習法的的運作 步驟三：疊代階段(iteration phase)? 檢查停止訓練條件是否吻合 如果鏈結值向量的改變量小於事先設定之閥值，或者 疊代次數到達事先設定之上限，則停止訓練，否則， 回到步驟一，繼續訓練。 步驟四：分群階段(clustering phase)? 計算所有點與群中心的距離， 進行分群動作 * * 假設學習率 ?=0.5，網路由兩個神經元所組成，神經元的權重初始值分別為： * * x1=(1,1) x2=(3,3) x3=(1,2) x4=(2,4) 訓練過程 * * 次數 輸入 |x-w1| |x-w2| 勝者 調整 1 x1=(1,1) 1 w1(1)= w1(0)+△w = (1,3)+0.5× ((1,1)-(1,3)) =(1,2) 2 x2=(3,3) 2 w2(1)= w2(0)+△w = (3,2)+0.5× ((3,3)-(3,2)) =(3,2.5) w1(1)=(1,2) w2(1)=(3,2.5) * * 3 x3=(1,2) 1 w1(2)=w1(1)+△w = (1,2)+0.5× ((1,2)-(1,2)) =(1,2) 4 x4=(2,4) 2 w2(2)=w2(1)+△w = (3,2.5)+0.5× ((2,4)-(3,2.5)) =(2.5,3.25) 分群完成 * * * * 報告到此結束 感謝您的聆聽 資料初始化 * * * * 二十筆資料完成分群 Flowchart * * 亂數產生神經元及資料 神經元們開始競爭(比較距離) 獲勝的神經元調整權重 計算與各群中心的距離 分群完成 Yes 檢查停止訓練條件是否吻合 No 打亂資料順序 一百筆資料完成分群 * * ??????? 歐幾里得提出了5個公理和5個公設：公理1 與同一件東西相等的一些東西，它們彼此也是相等的。公理2 等量加等量，總量仍相等。公理3 等量減等量，餘量仍相等。公理4 彼此重合的東西彼此是相等的。公理5 整體大於部分。 公設1 從任意的一個點到另一個點，作一條直線是可能的。公設2 把有限的直線不斷循直線延長是可能的。公設3 以任一點為圓心和任一距離為半徑作一圓是可能的。公設4 所有的直角都相等。公設5 如果一直線與兩直線相交，且同側所交兩內角之合小於兩 直角，則兩直線無限延長後必相交於該側的一點。 公理的正確性是無庸置疑的，因為它們都經過了長期實踐的反覆檢驗，除了 第5公設外，其它公理的正確性幾乎是一目瞭然的。 * * 決定幾何特性 不同的相似度會導致所形成之群聚幾何特性不同 用歐幾里德距離，||x-c||來當相似度 (x：資料點 c：群中心向量) (值越小則相似度越高) 用內積x ?c= ||x||||c|| cosθ (x ?c值越大則相似度越高) * * 總結 ? 競爭式學習法易受資料順序所影響。 ? 競爭式學習法所得到之鍵結值不一定是群 聚中心。 * * * * K-means 演算法 步驟一：設定群聚目K0，以及群聚中心的初始中