第三章、多层感知机.ppt

第三章 多層感知機 3.1 簡介 (1) 人類大腦的結構，根據解剖資料的顯示，屬於層狀結構， 成熟的大腦皮質層共有六層。 所有的高階的知覺 (cognition) 也產生於大腦，這種複雜功能的產生，應該部份歸功於層狀的結構，當然，神經元的數目、種類以及聯結型式亦功不可沒。 在類神經網路中，多層的架構是為了增加非線性，因為所要處理的問題通常是非線性問題。 以“多層感知機 (multilayer perceptrons)” 或稱為“倒傳遞類神經網路 (backpropagation networks)” 最為著稱 。 3.1 簡介 (2) 3.1 簡介 (3) 摘自：大腦的秘密檔案 洪蘭 譯 3.1 簡介 (2) 多層感知機的網路學習方式是採用「監督式學習」(supervised learning)，網路的訓練演算法是由屬於錯誤更正學習法則的「倒傳遞演算法」來訓練網路的鍵結值，也可以視為是最小均方法 (LMS 演算法) 的一種推廣。 多層感知機具有以下三個特性： 一、每個類神經元的輸出端都包含了一個非線性元件。 二、網路包含了一層以上的隱藏層。 三、網路具有高度的聯結性 (connectivity)。 3.1 簡介 (3) 「倒傳遞演算法」的網路訓練方式包含兩個階段：前饋階段以及倒傳遞階段。 前饋階段: 輸入向量由輸入層引入，以前饋方式經由隱藏層傳導至輸出層，並計算出網路輸出值，此時，網路的鍵結值都是固定的； 倒傳遞階段: 網路的鍵結值則根據錯誤更正法則來進行修正，藉由鍵結值的修正，以使網路的輸出值趨向於期望輸出值。更明確地說，我們以期望輸出值減去網路輸出值以得到誤差信號，然後將此誤差信號倒傳遞回網路中。 3.2 網路架構與符號表示法 (2) 1. 下標，i , j , k，代表不同的類神經元，當第 j 個類神經元為隱藏層之類神經元時，第 i 個類神經元在第 j 個類神經元的左邊，第 k 個類神經元在第 j 個類神經元的右邊。 2. 以 n 來表示學習循環的次數。 3. 以 E(n) 來表示在第 n 次學習循環時的瞬間誤差平方的總和；而 E(n) 的平均值稱為均方差 Eav。 4. 以 ej(n) 來表示在第 n 次學習循環時之第 j 個類神經元的誤差信號。 5. 以 dj(n) 來表示在第 n 次學習循環時之第 j 個類神經元的期望輸出。 6. 以 yj(n) 來表示在第 n 次學習循環時，第 j 個類神經元的實際輸出值，若第 j 個類神經元是位於輸出層，那麼也可用 Oj(n) 來代替yj(n) 。 3.2 網路架構與符號表示法 (3) 7. 以 wji(n) 來表示在第 n 次學習循環時，由第 i 個類神經元聯結至第 j 個類神經元的鍵結值；而對此鍵結值的修正量則以 Δwji(n)表示。 8. 以 vj(n) 來表示在第 n 次學習循環時之第 j 個類神經元的內部激發狀態。 9. 以 φ(.) 來表示第 j 個類神經元的活化函數 (activation function)。 10. 以 θj 來表示第 j 個類神經元的閥值 (threshold)。為了簡化網路表示式，我們將閥值項表示為該類神經元的第零個鍵結值，即 wj0= θj ，並聯結至固定的輸入值 -1。 11. 以 xj (n) 來表示輸入圖樣(向量)的第 i 個元素。 12. 以 η 來表示學習率參數。 3.3 倒傳遞演算法 (1) 網路輸出層的第 j 個類神經元的誤差函數定義為 而瞬間誤差平方函數，E(n)，就是所有輸出層類神經元的平方差瞬間值總合，表示為： 其中集合 C 是包含所有輸出層類神經元的子集合。 令 N 為輸入訓練資料的個數，則均方差函數定義為： 3.3 倒傳遞演算法 (2) 對於給定的訓練資料集合，我們可以用瞬間誤差平方函數 E(n) (“圖樣學習(pattern learning)” ) 或均方差函數 Eav (“批次學習(batch learning)”) 來代表網路學習此訓練資料的效能指標。而網路訓練的目標就是要將 E(n) 或 Eav 最小化。 第 j 個類神經元在第 n 次學習循環時的輸出為 3.3 倒傳遞演算法 (3) 如同最小均方法，倒傳遞演算法對鍵結值 wji(n) 的修正量 Δwji(n) 和梯度的估測值， ? E(n)/ ?wji(n) ，成正比關係。根據鍊鎖率(chain rule)，我們可將梯度表示為： 根據 (3.4) 式 我們定義 那麼鍵結值 wji(n) 的修正量 Δwji(n) 就可以寫成 其中 ? 是學習率參數。因此我們可以根據下式來調整鍵結值 3.3 倒傳遞演算法 (4) 一、第 j 個類神經元是輸出層的類神經元：根據式(