Network(自组织映射类神经网路).docVIP

SOM Neural Network(自組織映射類神經網路) I. Introduction 三大類型 類神經網路 三大天王 MLP (Multilayer Perceptron) 最著名的為BP(Backpropagation)(1985, D. Rumelhart, G.E. Hinton and R. J. Williams; 1985, D. Parker; 1974, P. Werbos Ph.D. Dissertation) 它的前身即為Perceptron(無隱藏層)(1957, Rosenblatt) 轉移函數為：Sigmoidal function, Linear function 學習法則為：BackPropagation學習法則建立在Delta學習法則上： △Wj =η(D - O) f ’(Wt X) Xj SOM (Self Organizing Map, 自組織映射圖)(1980, Kohonen) 學習法則為：Winner-take-all 學習法則 Competitive learning rule競爭式學習法則 Hopfield(1982, Hopfield) 特點: 網路對稱 缺點:Local Minimum 學習法則為：Hebian學習法則 Boltzmann Machine(Simulated Annealing, 模擬退火)(1984, Hinton) 可達到Global Minimum 缺點:太慢 A. BP談過了 BP ((( Supervised learning 學前兒童(幼兒)(((父母扮演Supervised learning的主要角色 上了幼稚園之後 老師扮演Supervised learning的主要角色 進入學校之後 我們無時無刻都在學習 ((( 終生學習 人的學習很多時候是((( Unsupervised learning 特別是出了社會之後的學習常常是Unsupervised learning或Reinforcement learning Unsupervised learning 有很多Model SOM為代表Model之一 Supervised 使用的方法有所不同 Unsupervised 如：輸入向量是兩個類別時 S ((分類功能 (( 不同的輸入 (( 不同的輸出(0 或 1) U ((特徵找尋功能 (( 輸出向量可以正確反應輸入向量之特徵 ∵Unsupervised learning不能由老師預先指定輸入向量屬於某一類時對應的輸出向量為何 因此如果輸入向量在空間中為隨機分佈而此分佈有朝向某一方向的特徵，X在D所示的方向上的投影量最大 如果要讓輸出向量 (( 反應這個特徵時 即 當輸入向量愈朝向箭頭D時 輸出向量愈大 反之輸出向量愈小 如果X在向量空間中屬於兩個不同的類別 它們各自有自己的聚類區  如果輸出能夠反映輸入向量的特徵時 顯然當輸入屬於不同類別時，相應的輸出值會有明顯的差異 從而很容易完成分類的功能 例：社區有1000戶人家，每一戶人家觀念上或多或少有差異 角頭的出現，每一個角頭都代表一群人 我們希望每一個角頭都具有代表性 因為角頭的數量愈多 (((( 投資成本愈高 觀念相近 價值觀相近 審美觀相近(吃檳榔、綁頭巾) 英雄觀相近(黑道、凶狠、殺人無數的大哥) 人生觀相近 職業相近 信仰相近 如果社區裡原有10個角頭，現在新搬來一家 各角頭是否要調整來爭取容納這一家呢？ 會不會因為這麼一調整，花費成本太高？或與其他成員漸行漸達？ 找特徵的方法，觀念來自於人腦 大腦具有相似功能的腦細胞通常會聚集在一起 (((專司視覺、聽覺、味覺等區塊的腦細胞 (((物以類聚的特性 低層次的神經元是預先排好的 高層次的神經組織則是通過學習自組織形成的 改變彼此內的連接關係 1011 ( (103 ~ 105 )= 1014 ~ 1016 II. Development History of SOM SOM： 芬蘭赫爾辛基大學的Kohonen教授 發展出來用於語音識別(芬蘭語、日語(NHK投資開發)) (((類神經網路語音打字機(Neural Phonetic Typewr