简称为BP演算法MLP+EBP称之为倒传递类神经网路或BPN前馈式.PPTVIP

倒傳遞類神經網路 2006年3月14日星期二 簡報大綱 一、多層感知器網路架構 二、類神經網路的學習法則 三、增快學習效率的BPN 四、 BPN的實用層面與探索 五、應用實例 六、其他應用 一、多層感知器網路架構 倒傳遞類神經網路的架構為多層感知器（MLP） 早期Rosenblatt（1958）發展的感知器僅為單層網路無隱藏層的存在，無法解決某些問題 輸入層與輸出層用來表現輸入項與輸出值，兩者神經元數目依問題型式而定； 常使用的活化函數型式 二、倒傳遞類神經網路的學習法則 有很多學者提出不同的學習方式稱作學習法則(Learning Rule)，在此說明常用的基本學習法則(Basic Learning Rule)。它主要是用梯度降階法(Gadient Descent Method)及鏈鎖律(Chain Rule)，求出各結點的導函數，由此導函數來決定結點內的參數以及網路中的加權值。基本學習法則是P. Werbos在1974年提出的，又稱作Delta學習法則或梯度降階學習法則 (Gradient Descent Learning Rule) 。 上圖是一個全由固定結點組成的類神經網路， 所以需要學習的參數只有加權值。學習的原理是利用誤差(目標輸出值[Target Output]和實際輸出值[Actual Output]的差)來調整加權值。假設訓練資料集(Training Data Set)只有一筆資料，我們首先定義誤差衡量值(Error Measure)為： ti是目標輸出值, oi是實際輸出量, 為了要E使最小， 而定義加權數值改變量如下： wij是神經元i到神經元j的加權值，η是學習率(Leaming Rate)，其值通常介於[0,1]間。上式表示在負的梯度方向上有最小值。第二層的輸出值可表示為： 其中 E所以對wji的梯度值為： 其中 因此可求得 也就是說 加權值的學習過程，只是將原來的加權值加上其改變量而已 wij = wij + ?wij 三、增快學習效率的BPN BPN 大量的連結權重參數需要調整 訓練過程，目標函數常會落入局部最小值 提升BPN搜尋效率的方法 慣性項（momentum term）的加入 批次學習 使用變動的學習速率（請見4.4.2之學習速率設定） 不同的轉換函數 不同的目標函數 範例重要性因子 加一隨機擾動量以跳出局部最小值 四、 BPN的實用層面與探索 五、應用實例 在多層的類神經網路應用中，倒傳遞類神經網路是最常被用來處理非線性函數映射問題。本例題將以一層隱藏層的倒傳遞類神經網路來模擬函數 (a)產生符合上述函數之三組資料群，分別為訓練資料400組、驗證資料200組與測試資料100組。 (b) 利用 (a) 產生的資料以倒傳遞類神經網路來訓練、驗證及測試函數值。 六、其他應用 ? (4) 網路驗證與測試 200個驗證資料目標輸出值之三維立體圖 100個測試資料目標輸出值之三維立體圖 台大生工系水資源資訊系統研究室 明渠流場模擬，以倒傳遞類神經網路針對不同坡度與寬深比之明渠流場試驗量測結果，進行流速剖面之模擬，其中影響因子為：渠底坡度（S）、寬深比（B/H）、資料點之高程位置（y/H），以及速度剖面垂線量測之位置（Z），而模式訓練與驗證資料來源取自參考文獻（楊等，2001 2002）。 台大生工系水資源資訊系統研究室 ? 訓練階段RMSE趨勢圖 訓練資料 驗證資料 台大生工系水資源資訊系統研究室 ? 模式推估值與實測資料速度分布圖 台大生工系水資源資訊系統研究室 倒傳遞類神經網路常用於： 1. 分類、診斷 2. 函數推估、預測 3. 訊號處理 4. 非線性控制系統 台大生工系水資源資訊系統研究室 * * 一般使用的學習演算法為誤差倒傳遞演算法 （Error Back Propagation, EBP），簡稱為 BP演算法 （MLP + EBP）稱之為 倒傳遞類神經網路 或 BPN 前饋式網路 監督式學習 台大生工系水資源資訊系統研究室 1982年，Rumelhart、McClelland和他們同事成立了一個PDP（parallel distributed processing）小組 1986年提出著名的倒傳遞學習法，實現多層網路的構想 倒傳遞類神經網路的發展……… 倒傳遞學習法的提出，使得多層感知器的網路架構得以實現 台大生工系水資源資訊系統研究室 倒傳遞類神經網路架構圖 台大生工系水資源資訊系統研究室 隱藏層神經元數目：試誤法決定隱藏層的層數：依問題複雜度由一層增加到數層 活化函數 輸入值由輸入層直接傳