非监督式类神经网路.PPT

第四章 非監督式類神經網路 4.1 簡介 非監督式的類神經網路在缺乏期望輸出值的情況下，能夠自行發掘出資料中的那些特徵是重要的或是可忽略的，以便將資料作“群聚” (clustering) 的處理。 此種類神經網路經常被用來作為前處理單元 (preprocessing unit)，以便萃取出資料的特徵，或將資料做向量量化 (vector quantization) 之後，再配合監督式學習法，便可完成圖樣識別 (pattern recognition) 的任務。 基本上，此類型的網路，其類神經元的輸出值所代表的意義是，此類神經元對於目前輸入網路的資料，其熟悉程度有多高？熟悉程度的高低，則取決於目前資料與過去網路所見過的一些已經形成範例的資料，彼此之間的相似度有多大？而量測相似度的方法，則依據各種不同的非監督式類神經網路，有各自的考量。 4.2 競爭式學習演算法則 (1) 除了來自生物現象的動機之外，在群聚分析 (clustering analysis) 的問題上，我們會需要非監督式的學習法來發掘出資料本身所具備的結構。 在類神經網路中有兩種實現非監督式學習法的演繹法則： 1. Hebbian 學習規則 ? 通常不是被用來分析資料間的群聚關係或被用來將資料分類；反而是被用來量測資料間的相似性或分析出資料中的“主要成份向量 (principle components)”。 2. 競爭式學習法則 ? 使用競爭式學習法的類神經網路，只有其中的一個類神經元會被活化，這個被活化的類神經元就稱為“得勝者 (winner)”類神經元。這種類神經網路通常是被用來作群聚分析，在沒有事先的分類資訊下，去發覺資料中本身的結構及群聚關係。 群聚分析 (1) 群聚分析是用來探索資料中資料群聚結構的一種工具，其目的主要是將相似的資料歸類在同一群聚中。 透過分群演算法所得到的這些群聚，可以用來解釋原始資料的分布與特性。 有關群聚分析的研究，仍有待解決的問題有下列幾項： (1)? 如何決定相似度？ (2)? 如何決定群聚的數目？ (3) 如何決定哪個分群的結果是較理想的？ 群聚分析 (2) 不同的相似度會導致所形成之群聚幾何特性不同。 若用歐基里德距離 ，( 代表資料點而 代表群聚中心向量)，來當相似度 (距離越小則相似度越高)，則會形成大小相似且緊密之圓形群聚。 若用 來當相似度( 值越大則相似度越高，其中 代表夾角)，則會形成同一角度之狹長形群聚。 倘若採用的是 (值越大則相似度越高)，則並不一定會形成同一角度之狹長形群聚，因為 和 的大小不同，會導致即使它們幾乎同一角度，但 值還是有很大之差異。 4.2 競爭式學習演算法則 (2) 競爭式學習法 (此法有時被稱為Kohonen學習規則或贏者全拿學習規則 (winner-take-all learning rule)) 的單層類神經網路，如圖4.1所示 4.2 競爭式學習演算法則 (3) 競爭式學習法的執行分為兩個階段： 步驟一：競爭階段 (competitive phase) ? 選出得勝者 1. 若活化函數 為嚴格遞增型的函數(如sigmoid 函數或線性函數) 如果鍵結向量 都被正規化為長度為 1 的基本向量 2. 若活化函數 為高斯型基底函數，則在不需任何其它條件下，式(4.1) 可以直接重寫為： 4.2 競爭式學習演算法則 (4) 步驟二：獎勵階段(reward phase)?調整得勝者的鍵結向量 步驟三：疊代階段(reward phase)?檢查停止訓練條件是否吻合 如果鍵結值向量的改變量小於事先設定之閥值，或則疊代次數到達事先設定之上限，則停止訓練；否則，回到步驟一，繼續訓練。 4.2 競爭式學習演算法則 (5) 範例4.1：競爭式學習法則 (1) 假設學習率，網路由兩個類神經元所組成，類神經元的鍵結值初始值分別為： 以及 。 範例4.1：競爭式學習法則 (2) 歐基里德距離 範例4.1：競爭式學習法則 (3) 值 範例4.1：競爭式學習法則 (4) 內積 4.2 競爭式學習演算法則 (6) 我們將競爭式學習法的特性分析如下： 鍵結向量的初始化會影響到學習的最後效果，而這個問題的解決方式有：? (1)?將所有類神經元的鍵結向量隨機初始化為一部份的輸入向量。(2)?加入良心機構 。 (3) 在獎勵階段時，所