前馈人工神经网络课件.pptxVIP

前饋人工神經網路－－誤差反傳（BP）演算法的改進與BP網路設計

3.4基於BP演算法的多層前饋網路模型三層BP網路輸入層隱層輸出層

模型的數學表達輸入向量：X=(x1,x2,…,xi,…,xn)T隱層輸出向量：Y=(y1,y2,…,yj,…,ym)T輸出層輸出向量：O=(o1,o2,…,ok,…,ol)T期望輸出向量：d=(d1,d2,…,dk,…,dl)T輸入層到隱層之間的權值矩陣：V=(V1,V2,…,Vj,…,Vm)隱層到輸出層之間的權值矩陣：W=(W1,W2,…,Wk,…,Wl)各個變數之間如何建立聯繫，來描述整個網路？

神經網路的學習學習的過程：神經網路在外界輸入樣本的刺激下不斷改變網路的連接權值乃至拓撲結構，以使網路的輸出不斷地接近期望的輸出。學習的本質：對可變權值的動態調整學習規則：權值調整規則，即在學習過程中網路中各神經元的連接權變化所依據的一定的調整規則。BP演算法是一種學習規則

BP演算法的基本思想學習的類型：有導師學習核心思想：將輸出誤差以某種形式通過隱層向輸入層逐層反傳學習的過程：信號的正向傳播誤差的反向傳播將誤差分攤給各層的所有單元－－－各層單元的誤差信號修正各單元權值

BP演算法的學習過程正向傳播：輸入樣本－－－輸入層－－－各隱層－－－輸出層判斷是否轉入反向傳播階段：若輸出層的實際輸出與期望的輸出（教師信號）不符誤差反傳誤差以某種形式在各層表示－－－－修正各層單元的權值網路輸出的誤差減少到可接受的程度進行到預先設定的學習次數為止

建立權值變化量與誤差之間的關係輸出層與隱層之間的連接權值調整隱層和輸入層之間的連接權值調整j=0,1,2,…,m;k=1,2,…,l(3.4.9a)i=0,1,2,…,n;j=1,2,…,m(3.4.9b)式中負號表示梯度下降，常數η∈(0,1)表示比例係數，反映了訓練速率。可以看出BP演算法屬於δ學習規則類，這類演算法常被稱為誤差的梯度下降(GradientDescent)演算法。

BP演算法的程式實現(1)初始化；(4)計算各層誤差信號；(5)調整各層權值；(6)檢查是否對所有樣本完成一次輪訓；(7)檢查網路總誤差是否達到精度要求。(2)輸入訓練樣本對X?Xp、d?dp計算各層輸出；(3)計算網路輸出誤差；

BP演算法的程式實現然後根據總誤差計算各層的誤差信號並調整權值。另一種方法是在所有樣本輸入之後，計算網路的總誤差：

多層前饋網的主要能力(1)非線性映射能力多層前饋網能學習和存貯大量輸入-輸出模式映射關係，而無需事先瞭解描述這種映射關係的數學方程。只要能提供足夠多的樣本模式對供BP網路進行學習訓練，它便能完成由n維輸入空間到m維輸出空間的非線性映射。

多層前饋網的主要能力(2)泛化能力當向網路輸入訓練時未曾見過的非樣本數據時，網路也能完成由輸入空間向輸出空間的正確映射。這種能力稱為多層前饋網的泛化能力。(3)容錯能力輸入樣本中帶有較大的誤差甚至個別錯誤對網路的輸入輸出規律影響很小。

誤差曲面與BP演算法的局限性誤差函數的可調整參數的個數nw等於各層權值數加上閾值數，即：誤差E是nw+1維空間中一個形狀極為複雜的曲面，該曲面上的每個點的“高度”對應於一個誤差值，每個點的座標向量對應著nw個權值，因此稱這樣的空間為誤差的權空間。

誤差曲面的分佈－－BP演算法的局限性曲面的分佈特點--------演算法的局限性(1)存在平坦區域--------誤差下降緩慢，影響收斂速度(2)存在多個極小點------易陷入局部最小點

曲面分佈特點1：存在平坦區域平坦－－誤差的梯度變化小－－接近於零

存在平坦區域的原因分析接近於零的情況分析造成平坦區的原因：各節點的淨輸入過大對應著誤差的某個穀點平坦區

曲面分佈特點2：存在多個極小點誤差梯度為零多數極小點都是局部極小，即使是全局極小往往也不是唯一的。單權值雙權值

曲面分佈特點2：存在多個極小點BP演算法－－－以誤差梯度下降為權值調整原則誤差曲面的這一特點－－－使之無法辨別極小點的性質導致的結果：因而訓練經常陷入某個局部極小點而不能自拔，從而使訓練無法收斂於給定誤差。

標準BP演算法的改進－－引言誤差曲面的形狀－－固有的演算法的作用是什麼？調整權值，找到最優點那麼如何更好地調整權值？利用演算法使得權值在更新的過程中，‘走’合適的路徑，比如跳出平坦區來提高收斂速度，跳出局部最小點等等如何操作？需要在進入平坦區或局部最小點時進行一些判斷，通過改變某些參數來使得權值的調整更為合理。

標準的BP演算法內在的缺陷：⑴