【精品】非监督式类神经网路82.pptVIP

第四章 非監督式類神經網路 4.1 簡介 非監督式的類神經網路在缺乏期望輸出值的情況下，能夠自行發掘出資料中的那些特徵是重要的或是可忽略的，以便將資料作“群聚” (clustering) 的處理。 此種類神經網路經常被用來作為前處理單元 (preprocessing unit)，以便萃取出資料的特徵，或將資料做向量量化 (vector quantization) 之後，再配合監督式學習法，便可完成圖樣識別 (pattern recognition) 的任務。 基本上，此類型的網路，其類神經元的輸出值所代表的意義是，此類神經元對於目前輸入網路的資料，其熟悉程度有多高？熟悉程度的高低，則取決於目前資料與過去網路所見過的一些已經形成範例的資料，彼此之間的相似度有多大？而量測相似度的方法，則依據各種不同的非監督式類神經網路，有各自的考量。 4.2 競爭式學習演算法則 (1) 除了來自生物現象的動機之外，在群聚分析 (clustering analysis) 的問題上，我們會需要非監督式的學習法來發掘出資料本身所具備的結構。 在類神經網路中有兩種實現非監督式學習法的演繹法則： 1. Hebbian 學習規則 ? 通常不是被用來分析資料間的群聚關係或被用來將資料分類；反而是被用來量測資料間的相似性或分析出資料中的“主要成份向量 (principle components)”。 2. 競爭式學習法則 ? 使用競爭式學習法的類神經網路，只有其中的一個類神經元會被活化，這個被活化的類神經元就稱為“得勝者 (winner)”類神經元。這種類神經網路通常是被用來作群聚分析，在沒有事先的分類資訊下，去發覺資料中本身的結構及群聚關係。 4.2 競爭式學習演算法則 (2) 競爭式學習法 (此法有時被稱為Kohonen學習規則或贏者全拿學習規則 (winner-take-all learning rule)) 的單層類神經網路，如圖4.1所示 4.2 競爭式學習演算法則 (3) 競爭式學習法的執行分為兩個階段： 步驟一：競爭階段 (competitive phase) ? 選出得勝者 若活化函數 為嚴格遞增型的函數 如果鍵結向量 都被正規化為長度為 1 的基本向量 步驟二：獎勵階段(reward phase)?調整得勝者的鍵結向量 範例4.1：競爭式學習法則 (1) 假設學習率 ?=0.5，網路由兩個類神經元所組成，類神經元的鍵結值初始值分別為： 範例4.1：競爭式學習法則 (2) 表4.2：範例4.1中，網路的前6次訓練過程。 4.2 競爭式學習演算法則 (4) 我們將競爭式學習法的特性分析如下： 鍵結向量的初始化會影響到學習的最後效果，而這個問題的解決方式有：? (1)?將所有類神經元的鍵結向量隨機初始化為一部份的輸入向量。(2)?加入良心機構 。 (3) 在獎勵階段時，所有的類神經元的鍵結向量都予以調整，但 得 勝者調整得最多。 類神經元的數目必須由使用者設定，因此如果設定的不對 (即不等於實際資料的群聚數目)，則會將資料錯誤地歸類。 K-means 演算法 步驟一：設定群聚目K0，以及群聚中心的初始中心位置 ，其中 。 步驟二：將訓練資料 ，依據它們與各個群聚中心的距離 (可以用一般的歐基里德距離或是其它距離量測)遠近，分配到最近的群聚中心。 步驟三：依據下式來更新群聚中心位置： 其中代表所有被歸類於第個群聚的資料集合，代表屬於的資料個數。 步驟四：如果 ( ? 是一個事先給定的正實數)，或資料的歸類與前一次疊代過程相同，又或者是疊代次數超過某一上限，那麼就停止運算，否則，回到步驟二，繼續疊代。 4.3 適應共振理論 (1) “穩定性與可塑性的進退兩難論 (stability and plasticity dilemma)” 。 這個學習系統要有足夠的穩定性來抗拒環境中不相干的干擾或事件，但又要有足夠的可塑性以便能夠快速地改變及學習，來因應環境的變化，也就是說，要能夠快速學習，但又不會洗去舊有的記憶。 適應共振理論 (Adaptive Resonance Theory 簡稱ART) 採用的是動態式的網路架構，也就是說，有足夠數目的類神經元等待著被使用 。 由適應共振理論發展出來的，有處理二元值輸入的 ART 1 [3] 及處理連續信號的 AR