模式识别导论PatternRecognition.pptVIP

例：單計算節點感知器，3個輸入。給定3對訓練樣本對如下：X1=(-1，1，-2，0)T d1=?1 X2=(-1，0，1.5，-0.5)T d2=?1X3=(-1，-1，1，0.5)T d3=1設初始權向量W(0)=(0.5,1,-1,0)T，η=0.1。注意，輸入向量中第一個分量x0恒等於-1，權向量中第一個分量為閾值，試根據以上學習規則訓練該感知器。3前饋神經網絡3.1單層感知器--感知器的學習演算法舉例解：第一步輸入X1，得WT(0)X1=(0.5,1,-1,0)(-1,1,-2,0)T=2.5o1(0)=sgn(2.5)=1W(1)=W(0)+η[d1-o1(0)]X1=(0.5,1,-1,0)T+0.1(-1-1)(-1,1,-2,0)T=(0.7,0.8,-0.6,0)T3前饋神經網絡3.1單層感知器--感知器的學習演算法舉例第二步輸入X2，得WT(1)X2=(0.7,0.8,-0.6,0)(-1,0,1.5,-0.5)T=-1.6o2(1)=sgn(-1.6)=-1W(2)=W(1)+η[d2-o2(1)]X2=(0.7,0.8,-0.6,0)T+0.1[-1-(-1)](-1,0,1.5,-0.5)T=(0.7,0.8,-0.6,0)T由於d2=o2(1)，所以W(2)=W(1)。3前饋神經網絡3.1單層感知器--感知器的學習演算法舉例第三步輸入X3，得WT(2)X3=(0.7,0.8,-0.6,0)(-1,-1,1,0.5)T=-2.1O3(2)=sgn(-2.1)=-1W(3)=W(2)+η[d3-o3(2)]X3=(0.7,0.8,-0.6,0)T+0.1[1-(-1)](-1,-1,1,0.5)T=(0.5,0.6,-0.4,0.1)T第四步返回到第一步，繼續訓練直到dp-op=0，p=1,2,3。3前饋神經網絡3.1單層感知器--感知器的學習演算法舉例2.2人工神經網絡處理單元雙曲正切函數S型函數的一種 y=tand(s)=(es-e-s)/(es+e-s)相對於Sigmoid函數，它是原點對稱的。當s=0時有y=0，即同時具有雙級輸出。當要求輸出(-11)範圍的信號時，它常被採用。2人工神經網絡基礎2.3人工神經網絡的拓撲結構雖然單個處理單元可以處理簡單的圖形檢測功能，但更強的識別處理能力是來自多個結點“連成”的網絡，即人工神經網絡。這裡的“連成”，是靠輸入至結點或者結點至結點間的信號傳輸通路實現的，這一通路相當於生物神經系統中的軸突和突觸，它們影響著輸入信號。以後我們把這種信號傳輸通路稱為“連接”，每一個連接都具有一個加權值，稱為“連接權”，反映連接的強度。2人工神經網絡基礎2.3人工神經網絡的拓撲結構單層網絡最簡單的網絡是把一組結點形成一層。左邊的黑色圓點隻起著分配輸入信號的作用，沒有計算作用，不看作是網絡的一層。右邊用圓圈表示的一組結點被看作一層。2人工神經網絡基礎2.3人工神經網絡的拓撲結構單層網絡輸入信號表示為行向量：x=(x1,x2,…,xN)，其中每一分量通過加權連接到各結點。每一個結點均可產生一個加權和。輸入和結點間採用全連接，並且都是前饋連接。在這種單層網絡中可把各加權表示為加權矩陣W。矩陣的維數是N×n，N是輸入信號向量的分量數，n是該層內的結點數。由第三個輸入連接到第二個結點的連接權表示為W32。2人工神經網絡基礎2.3人工神經網絡的拓撲結構單層網絡輸入信號的加權和表示為：s是各結點加權和的行向量，s=(s1,s2,…,sn)。輸出向量y=(y1,y2,…,yn)，其中yj=F(sj)。2人工神經網絡基礎2.3人工神經網絡的拓撲結構多層網絡一般來說，大而複雜的網絡能提供更強的計算能力。雖然目前已構成了很多網絡模型，但它們的結點都是按層排列的，這一點正是模仿了大腦皮層中的網絡模組。多層網絡是由單層網絡進行級聯構成的，即上一層的輸出作為下一層的輸入。2