ch05_辐状基底函数类神经网路.ppt

章節目錄 第一節 序論 第二節 RBF網路架構 第三節 RBF中心點選取法 第四節 RBF學習演算法 第五節 應用實例 第六節 其他應用 本章重點回顧 本章習題 第一節 序 論 OLS是由Chen等人(1991)提出的方法，其中心點選取的主要概念是將所有訓練範例的輸入點皆視為潛在的中心點，當加入一個新的中心點時，網路輸出誤差值便會減少。 OLS選取中心點的停止標準為誤差值達到可接受的程度即可。 演算方法根據著名的 Gram-Schmidt 垂直理論。 5.4.2 序率坡降法(SGA) SGA(Ham, 2001)是以最陡坡降法的觀念搜尋瞬時的目標函數如下式，使修正 RBFNN 中的所有參數：包括隱藏層中心點位置、輻狀基底函數的形狀(或)以及輸出層的權重，故可視為一種線上學習演算法。 演算法與推導過程與第四章第三節誤差倒傳遞演算法相似，即分別使 因此網路中的 、 、 修正公式如下式 (5.31) (5.32) (5.33) 利用序率坡降法調整 RBFNN 參數（含 c, σ, w）之主要程序 步驟1：從訓練範例資料的輸入向量中，隨機選取中心點； 步驟2：由所選取的中心點及(5.11)式計算基底函數的標準 偏差值； 步驟3：隨機設定連結向量的初始值； 步驟4：依輸入向量資料，計算網路輸出值； 步驟5：計算網路輸出值與目標輸出值的誤差來更新網路參 數值， (1) 以(5.31)式更新權重向量 w， (2) 以(5.32)式更新基底函數的中心值 c， (3) 以(5.33)式更新基底函數的標準偏差 σ； 步驟6：檢測網路訓練是否已達收斂條件，如果尚未收斂， 則回到步驟4。 第五節 應用實例 ? 以RBFNN模擬與推估函數 ，x, y的範圍設定為 ，隨機產生400個點，其中300個點當作訓練資料，100個點當作驗證資料。 (a) 使用 OLS 選取中心點，正確率為0.8，並利用LMS訓練 RBFNN的權重向量。 (b) 使用隨機選取法，並利用 LMS 訓練 RBFNN 之權重向 量，建構出RBFNN，其中心點個數與 (a) 相同。 (c) 比較上述兩種方法於函數模擬及推估上之效果。 ? 利用OLS從300個訓練範例資料點選取16個中心點 (a)利用OLS決定中心點個數及選取中心點，正確率設定為0.8， 本例題 ? = 0.159，選取中心點個數為16 ? 300 個訓練資料目標輸出值以○表示，網路輸出值以 × 表示 300 個訓練資料目標輸出值以－表示，網路輸出值以 × 表示 (i)將訓練資料代入網路計算輸出結果，得RMSE=0.0203 ? 100 個驗證資料目標輸出值以 ○ 表示，網路輸出值以 × 表示 100個驗證資料目標輸出值以 － 表示，網路輸出值以 × 表示 (ii)將驗證資料代入網路計算輸出結果，得RMSE=0.0212 ? 利用OLS從300個訓練範例資料點選取16個中心點 (b) 隨機選取中心個數設為16，然而因隨機選取，每次選擇的中 心點皆有所不同，亦使得有所差異。 ? 300 個訓練資料目標輸出值以 ○ 表示，網路輸出值以 × 表示 300 個訓練資料目標輸出值以 － 表示，網路輸出值以 × 表示 (i)將訓練資料代入網路計算輸出結果，得RMSE=0.636 ? 100 個驗證資料目標輸出值以 ○ 表示，網路輸出值以 × 表示 100 個驗證資料目標輸出值以 － 表示，網路輸出值以 × 表示 (ii)將驗證資料代入網路計算輸出結果，得RMSE=0.1998 ? (c) 上述結果顯示：(i) 以OLS為中心點選取法，配合LMS訓練RBFNN之權重，可獲致非常一致的模擬與推估函數值；(ii) 以隨機選取固定個數之中心值，配合LMS訓練RBFNN之權重的方式，可能因中心點選取的個數不足或選取的中心點不恰當，而無法像OLS一樣有效地選取中心點，造成模擬與推估的函數值皆有明顯誤差。 ? 在1977 年Mackey和Glass發表了一篇重要的論文，利用一階微分-延遲方程式（first-order differential-delay equations）作為生理學系統之模式，（5.34）式即為著名的Mackey-Glass方程式，為