反馈神经网络课件.pptx

回饋神經網路

回饋神經網路Hopfield網路分為離散型和連續型兩種網路模型，分別記作DHNN(DiscreteHopfieldNeuralNetwork)和CHNN(ContinuesHopfieldNeuralNetwork)，本章重點討論前一種類型。根據神經網路運行過程中的資訊流向，可分為前饋式和回饋式兩種基本類型。前饋網路的輸出僅由當前輸入和權矩陣決定，而與網路先前的輸出狀態無關。美國加州理工學院物理學家J.J.Hopfield教授於1982年提出一種單層回饋神經網路，後來人們將這種回饋網路稱作Hopfield網。

5.1.1網路的結構與工作方式離散型回饋網路的拓撲結構離散型Hopfield神經網路

(1)網路的狀態DHNN網中的每個神經元都有相同的功能，其輸出稱為狀態，用xj表示。j=1,2,…,n所有神經元狀態的集合就構成回饋網路的狀態X=[x1,x2,…,xn]T回饋網路的輸入就是網路的狀態初始值，表示為X(0)=[x1(0),x2(0),…,xn(0)]T回饋網路在外界輸入激發下，從初始狀態進入動態演變過程，變化規律為

j=1,2,…,n(5.1)DHNN網的轉移函數常採用符號函數式中淨輸入為j=1,2,…,n(5.2)對於DHNN網，一般有wii=0，wij=wji。回饋網路穩定時每個神經元的狀態都不再改變，此時的穩定狀態就是網路的輸出，表示為

(2)網路的非同步工作方式(5.3)(3)網路的同步工作方式網路的同步工作方式是一種並行方式，所有神經元同時調整狀態，即j=1,2,…,n(5.4)網路運行時每次只有一個神經元進行狀態的調整計算，其他神經元的狀態均保持不變，即

5.1.2.1網路的穩定性DHNN網實質上是一個離散的非線性動力學系統。網路從初態X(0)開始，若能經有限次遞歸後，其狀態不再發生變化，即X(t+1)＝X(t)，則稱該網路是穩定的。如果網路是穩定的，它可以從任一初態收斂到一個穩態：網路的穩定性與吸引子

若網路是不穩定的，由於DHNN網每個節點的狀態只有1和-1兩種情況，網路不可能出現無限發散的情況，而只可能出現限幅的自持振盪，這種網路稱為有限環網路。如果網路狀態的軌跡在某個確定的範圍內變遷，但既不重複也不停止，狀態變化為無窮多個，軌跡也不發散到無窮遠，這種現象稱為渾沌。

網路達到穩定時的狀態X，稱為網路的吸引子。如果把吸引子視為問題的解，從初態朝吸引子演變的過程便是求解計算的過程。若把需記憶的樣本資訊存儲於網路不同的吸引子，當輸入含有部分記憶資訊的樣本時，網路的演變過程便是從部分資訊尋找全部資訊，即聯想回憶的過程。定義5.1若網路的狀態X滿足X=f(WX-T)則稱X為網路的吸引子。吸引子與能量函數

定理5.1對於DHNN網，若按非同步方式調整網路狀態，且連接權矩陣W為對稱陣，則對於任意初態，網路都最終收斂到一個吸引子。定理5.1證明：定義網路的能量函數為：(5.5)令網路的能量改變量為ΔE，狀態改變量為ΔX，有(5.6)(5.7)吸引子與能量函數

將式(5.4)、(5.6)代入(5.5)，則網路能量可進一步展開為(5.8)將代入上式，並考慮到W為對稱矩陣，有

(5.9)上式中可能出現的情況：情況a：xj(t)=-1,xj(t+1)=1,由式(5.7)得Δxj(t)=2,由式(5.1)知，netj(t)≧0，代入式(5.9)，得ΔE(t)≦0。情況b：xj(t)=1,xj(t+1)=-1,所以Δxj(t)=-2,由式(5.1)知，netj(t)0，代入式(5.9)，得ΔE(t)0。情況c：xj(t)=xj(t+1),所以Δxj(t)=0,代入式(5.9)，從而有ΔE(t)=0。由此可知在任何情況下均有ΔE(t)≦0。

由於網路中各節點的狀態只能取1或–1，能量函數E(t)作為網路狀態的函數是有下界的，因此網路能量函數最終將收斂於一個常數，此時ΔE(t)=0。綜上所述，當網路工作方式和權矩陣均滿足定理5.1的條件時，網路最終將收斂到一個吸引子。綜上所述，當網路工作方式和權矩陣均滿足定理5.1的條件時，網路最終將收斂到一個吸引子。定理5.2對於DHNN網，若按同步方式調