NeuralNetworkOverview1类神经网路综览.doc

Hopfield類神經網路綜覽 I. Introduction A. Hopfield網路模型 (1982年美國物理學家Hopfield發表論文提出Hopfield網路模型 (為互相連接的網路模型 (1984年設計出電子電路模擬這種網路的性質 (並以這種網路有效地解決了數學上著名的”旅行推銷員問題(TSP)”NpC問題(Np-Complete) 組合最佳化問題 (引起巨大的震驚和關注 B.Hopfield模型的建立是神經網路研究的重要裏程碑 (類神經網路計算機(用不完整的資訊來定址並獲取完整的資訊) 這些想法在原則上不同於Von Neumann型的數位計算機 (用位址值來定址並獲取完整的資訊) (初期的Hopfield網路模型是一個二值模型，後來才發展為連續的模型 (介紹Hopfield網路模型之前必需先瞭解Hopfield 的所謂內容定址記憶體的觀念 (Content-Addressable Memory) C.Example 4個圖樣 每個圖樣均由6個黑白點所構成 圖樣 編號 以Hopfield方法解決這4個圖樣的記憶與聯想 (自聯想記憶問題) 一、學習過程 1.以＋1代表黑點 －1代表白點 0代表未知 圖樣1:{+1,－1, +1,－1, +1,－1} 圖樣2:{－1, +1,－1, +1,－1, +1} 圖樣3:{+1, +1, +1, +1, +1, +1} 圖樣4:{－1,－1,－1,－1,－1,－1} 2.加權值矩陣 利用公式 Hopfield 用Hebbian訓練法則 收斂速度很快 適用於聯想記憶或分類 優化方面 二、回想過程 聯想一個具有雜訊或不完全的圖樣 即x={+1, +1, +1,－1, +1,－1} 第一次迭代為 第二次迭代為 數值已不再改變，因此停止迭代 圖樣為 II. Hopfield Neural Network A. 1982年美國物理學家J. Hopfield發表論文提出Hopfield網路模型 (聯想貯存器 (用於解決最優化問題 B. 二值Hopfield網路模型 (1)一個神經元層次 (2)每個處理單元均有一個狀態值 用 0 1表示 或用 －1 1表示 表為x=(x1, x2, x3,......,xn) 共有n個處理單元 若有一綱路狀態x=(1, 1, 0, 0) (3) 當綱路的神經元狀態改變 整個綱路的狀態也隨著變化 (4) Hopfield綱路各個神經元之間是全互連的而且是雙向的  ( 這種連接方式,便得綱路中每個神經元的輸出 均反饋到其它神經元的輸入上 (5) 每個連接均有一個數值 符號 wij: 神經元i與神經元j之間連接數值 wij=wji 當wij=wji的條件滿足時 ( 綱路肯定可以收斂到某一個穩定值 但很多情況 wij ≠ wji時 綱路亦可能收斂 (6) Hopfield Net 的另一種表示方式 n個神經元有n (n-1)個連接 數值的大小可由交叉點上圓圈的顏色深淺程度來表示 (7) 若神經元j的狀態值改變 則按下面兩式來計算新的狀態值 Liapunov Function (8) Hopfield綱路的狀態與其能量有關 能量定義為 (9) Hopfield 綱路狀態的連續改變過程 ( 使能量變小的過程 每次神經元狀態的改變 整個綱路的能量或者與以前相同或者是下降 (10)每個神經元j的能量 (11)若狀態未變，則Ej保持不變 若狀態變了，則 結論: 狀態的變換過程是一個能量極小化的過程 Example 國籍 等級 打擊率 婚姻 球齡 (本國、外國) (正選、後補) (高於二成) (多於8年) 張三 +1 (1 +1 +1 (1 李四 +1 (1 (1 (1 +1 王五 (1 (1 +1 +1 (1 III. Discussion: Hopfield Neural Network A. Hopfield找出一個Liapunov Function的能量函數 (此能量函數恰好對映自聯想記憶問題 與其它綱路一樣 層與層之間的權衡值可以表示成矩陣的型式 並用w來代表權衡矩陣 (Kohonen與Grossberg於1983年證明出 只要權衡矩陣w是對稱矩陣