多层神经网路.ppt

Matlab類神經網路工具範例 Hardlims TF Perceptron 範例 % Display disp(===Binary OR gate function===); % Define input pattern and target P=[0 0 1 1;0 1 0 1], T=[0 0 0 1], N=length(T); % Define weight W and bias W=[2 1]; b=-0.5; % Calculate NN output a n=W*P+b*ones(1,N); a=hardlim(n) * * 多層神經網路 多層感知器是有一個或多個隱含層的前饋神經網路。 網路包含一個源神經元的輸入層，至少一個計算神經元的中間層或隱含層，以及一個計算神經元的輸出層。 輸入信號一層一層地向前傳遞。 有兩個隱含層的多層感知器 這個層隱藏了什麼？ 隱含層“隱含”了它期望的輸出值。隱含層的神經元不能透過網路的輸入輸出行為來分析。沒有明顯的方式可以瞭解隱含層的期望的輸出值。 商用ANN一般有三層或四層，包含一到兩個隱含層。每層有10～1000個神經元。實驗神經網路可能有五層甚至六層，包含三到四個隱含層，有數百萬個神經元。 多層網路的學習過程和感知器的一樣。 要給網路提供輸入型樣的訓練集。 網路計算其輸出型樣，如果有錯—也就是說實際輸出和期望輸出型樣不一致—就調節權重來減小誤差。 在後向傳送神經網路中，學習演算法有兩個階段。 首先將訓練輸入型樣提供給網路的輸入端。輸入型樣在網路中一層層地傳送，直到輸出層產生輸出型樣為止。 如果輸出型樣和網路預期的輸出型樣不同，則計算誤差，然後從網路的輸出端後向傳送回輸入端，在傳送誤差時調整權重的值。 後向傳送神經網路 三層後向傳送神經網路 後向傳送的訓練演算法 步驟 1: 用很小範圍內均勻分佈的亂數設定網路的權重和臨界值： 其中Fi是網路中神經元i的輸入的總數。權重的初值要一個神經元一個神經元地設定。 步驟2:激勵 透過應用輸入x1(p), x2(p), …, xn(p)和期望的輸出 yd,1(p), yd,2(p), …, yd,n(p)來激勵後向傳送神經網路。 (a)計算隱含層神經元的實際輸出： 其中n是隱含層神經元j輸入的個數，sigmoid 為S形激勵函數。 (b)計算輸出層神經元的實際輸出： 其中m為輸出層神經元k的輸入個數。 步驟2:激勵(續) 步驟 3:訓練權重 修改後向傳送網路中的權重(後向傳送網路向後傳送與輸出神經元相關的誤差)。 (a)計算輸出層神經元的誤差梯度： 其中 計算權重的校正： 更新輸出神經元的權重： (b)計算隱含層神經元的誤差梯度： 計算權重的校正： 更新隱含層神經元的權重： 步驟 3:訓練權重(續) 步驟 4:疊代 疊代次數p加1，回到步驟 2，重複上述過程直到滿足誤差要求為止。 舉個例子，考慮如圖6-10所示的三層後向傳送網路，假設網路需要執行的邏輯運算是Exclusive-OR。回憶一下，單層的感知器不能進行這樣的運算。這裏使用三層的網路。 執行Exclusive-OR運算的三層網路 隱含層或輸出層的某個神經元的臨界值的作用可用它的權重θ來表示，θ與一個等於-1的固定輸入相連。 權重和臨界值的初值可隨意設定如下： w13 = 0.5, w14 = 0.9, w23 = 0.4, w24 = 1.0, w35 = -1.2, w45 = 1.1, q3 = 0.8, q4 = -0.1 以及 q5 = 0.3 訓練集的輸入xl和x2都為1，期望輸出yd,5為0。隱含層中的神經元3和4的實際輸出為： 現在可以確定輸出層神經元5的實際輸出為： 因此，得到誤差： 下一步是權重訓練。要更新網路中的權重和臨界值，需要從輸出層後向傳送誤差 e到輸入層。 首先，計算輸出層神經元5的誤差梯度： 接下來，假設學習率參數α為0.1，確定權重的校正值： 下面計算隱含層中神經元3和4的誤差梯度： 確定權重的校正值： 最後，更新網路中所有的權重和臨界值： 重複訓練過程，直至誤差的平方和小於0.001為止 。 Exclusive-OR運算的學習曲線 三層網路學習的最終結果 -0.0175 0.0175 0 0 0 0.0151 0.9849 1 0 1 0.0151 0.9849 1 1 0 0.0010 -0.0155 0.0155 0 1 1 x2 x1 誤差的平方和 誤　差e 實際輸出y5 期望輸出yd 輸　入 解決Exclusive-OR 運算的 McCulloch-Pitts模型的表示 決策邊界 多層