McCulloch和Pitts已提出第一个类神经元的运算模型.ppt

第二章 感知機 2.1 簡介 在1943年，McCulloch和Pitts已提出第一個類神經元的運算模型 。 神經心理學家Hebb提出一種理論，他認為學習現象的發生，乃在於神經元間的突觸產生某種變化。 Rosenblatt將這兩種創新學說結合起來，孕育出所謂的感知機(perceptron)。 感知機是由具有可調整的鍵結值 (synaptic weights) 以及閥值 (threshold) 的單一個類神經元 (neuron) 所組成。 感知機是各種類神經網路中，最簡單且最早發展出來的類神經網路模型，通常被用來做為分類器(classifier)使用。 2.2 感知機基本架構 (1) 感知機的基本組成元件為一個具有線性組合功能的累加器，後接一個硬限制器 (hard limiter) 而成，如圖2.1所示。 一般說來，若我們設定硬限制器之輸入為正值時，則類神經元的輸出為 +1；反之，若硬限制器之輸入為負值時，則類神經元的輸出為 -1。 2.2 感知機基本架構 (2) 分類的判斷規則是：若感知機的輸出為 +1，則將其歸類於 C1 群類；若感知機的輸出為 -1，則將其歸類於 C2 群類。 判斷規則所劃分的只有兩個判斷區域，我們可以將作為分類依據的超平面定義如下： 2.3 感知機收斂定理 (1) 步驟一：網路初始化 以隨機的方式來產生亂數，令 w(0) 為很小的實數，並且將學習循環 n 設定為1。 步驟二：計算網路輸出值 在第n次學習循環時，呈現輸入向量 x(n)，此時類神經元的輸出為： 步驟三：調整鍵結值向量 步驟四： 將學習循環 n 加1；回到步驟二。 2.3 感知機收斂定理 (2) 調整後的類神經元，若再用相同的輸入範例來加以測試，則其輸出值會更加地接近期待值，其原因如下： 範例2.1：感知機 (2) 假設當初學習率 ? 設定為 0.1，那麼的修正量會不同： 此時若將相同的輸入測試此新的鍵結值向量，會發現期望輸出值為 -1，但感知機輸出值為 1，分類錯誤，因此仍需修正感知機的鍵結值向量。 也就是說，感知機的學習過程並不保證一次就學會；有時更會發生為了學新的輸入卻將原先已正確分類的資料給誤判了。 2.4 Widrow-Hoff 法則 (1) 此種由Widrow和Hoff於1960年提出訓練所謂“適應線性元件” (Adaptive Linear Element 簡稱為 Adaline) 的學習規則，被稱做Widrow-Hoff法則或最小均方誤差法 。 基本上 Adaline 和感知機的架構是一樣的，主要的差別在於訓練法則的不同，感知機的訓練目標是減少分類錯誤，而 Adaline 是減少類神經元的真實輸出與期望輸出間的均方誤差。 2.4 Widrow-Hoff 法則 (2) 給定一組輸入/輸出對， ， 代表網路的期望輸出值。 用來訓練 Adaline 的 LMS 法則就是想辦法找出一個鍵結值向量 ，它可以使得誤差 的均方值 (mean square) 最小，其中 。這個問題的答案在於所謂的 Wiener-Hoff 方程式 。 定義均方誤差 (mean-square error) 為： 其中 E [.] 是機率期望值運算子。 2.4 Widrow-Hoff 法則 (3) 首先將 代入式(2.17)並且展開可得： 我們另外定義式(2.19)中的三個期望值運算如下： 1. 是期望輸出 d 的「均方值」(mean-square value)；令 2. 是期望輸出 d 與輸入信號 的「交互相關函數」 (cross-correlation function)；令 3. 是輸入信號 與 彼此間的「自相關函數」 (autocorrelation function)；令 2.4 Widrow-Hoff 法則 (4) 有了以上三個式子的定義，現在我們把式(2.19)重寫如下： 我們將誤差函數 J 對權重 作偏微分，並將此偏微分方程式設為零，因此我們可以得到以下 p 個方程式 令 為權重 的最佳值，從式(2.24)可知權重參數的最佳值是由下列 p 個方程式所決定： 這組方程式稱為「Wiener-Hopf 方