神经网络基本理论课件.pptxVIP

神經網路基本理論

4.1人工神經元模型人工神經元是對人或其他生物的神經元細胞的若干基本特性的抽象和模擬。生物神經元模型生物神經元主要由細胞體、樹突和軸突組成，樹突和軸突負責傳入和傳出資訊，興奮性的衝動沿樹突抵達細胞體，在細胞膜上累積形成興奮性電位；相反，抑制性衝動到達細胞膜則形成抑制性電位。兩種電位進行累加，若代數和超過某個閾值，神經元將產生衝動。

4.1人工神經元模型人工神經元模型模仿生物神經元產生衝動的過程，可以建立一個典型的人工神經元數學模型[x1,…,xn]T為輸入向量，y為輸出，f(·)為激發函數，θ為閾值。Wi為神經元與其它神經元的連接強度，也稱權值。

4.1人工神經元模型常用的激發函數f的種類：1）閾值型函數

4.1人工神經元模型2）飽和型函數3）雙曲函數

4.1人工神經元模型4）S型函數5）高斯函數

4.2神經網路的定義和特點神經網路系統是由大量的神經元，通過廣泛地互相連接而形成的複雜網路系統。定義特點（1）非線性映射逼近能力。任意的連續非線性函數映射關係可由多層神經網路以任意精度加以逼近。（2）自適應性和自組織性。神經元之間的連接具有多樣性，各神經元之間的連接強度具有可塑性，網路可以通過學習與訓練進行自組織，以適應不同資訊處理的要求。（3）並行處理性。網路的各單元可以同時進行類似的處理過程，整個網路的資訊處理方式是大規模並行的，可以大大加快對資訊處理的速度。（4）分佈存儲和容錯性。資訊在神經網路內的存儲按內容分佈於許多神經元中，而且每個神經元存儲多種資訊的部分內容。網路的每部分對資訊的存儲具有等勢作用，部分的資訊丟失仍可以使完整的資訊得到恢復，因而使網路具有容錯性和聯想記憶功能。（5）便於集成實現和計算模擬。神經網路在結構上是相同神經元的大規模組合，特別適合於用大規模積體電路實現。

4.3感知器模型感知器(Perceptron)是由美國學者F.Rosenblatt於1957年提出的，它是一個具有單層計算單元的神經網路，並由線性閾值元件組成。激發函數為閾值型函數，當其輸入的加權和大於或等於閾值時，輸出為1，否則為0或-1。它的權系W可變，這樣它就可以學習。感知器的結構

4.3感知器模型感知器的學習演算法為方便起見，將閾值θ(它也同樣需要學習)併入W中，令Wn+1=-θ，X向量也相應地增加一個分量xn+1=1，則學習演算法：①給定初始值：賦給Wi(0)各一個較小的隨機非零值，這裏Wi(t)為t時刻第i個輸入的權(1≤i≤n)，Wn+1(t)為t時刻的閾值；②輸入一樣本X=(xi,…,xn,1)和它的希望輸出d；③計算實際輸出④修正權W：Wi(t+1)=Wi(t)+η[d-Y(t)]xi,i=1,2,…,n+1⑤轉到②直到W對一切樣本均穩定不變為止。

4.3感知器模型根據某樣本訓練時，均方差隨訓練次數的收斂情況

4.4神經網路的構成和分類構成從Perceptron模型可以看出神經網路通過一組狀態方程和一組學習方程加以描述。狀態方程描述每個神經元的輸入、輸出、權值間的函數關係。學習方程描述權值應該怎樣修正。神經網路通過修正這些權值來進行學習，從而調整整個神經網路的輸入輸出關係。分類（1）從結構上劃分通常所說的網路結構，主要是指它的聯接方式。神經網路從拓撲結構上來說，主要分為層狀和網狀結構。

4.4神經網路的構成和分類①層狀結構：網路由若干層組成，每層中有一定數量的神經元，相鄰層中神經元單向聯接，一般同層內神經元不能聯接。前向網路：只有前後相鄰兩層之間神經元相互聯接，各神經元之間沒有回饋。每個神經元從前一層接收輸入，發送輸出給下一層。

4.4神經網路的構成和分類②網狀結構：網路中任何兩個神經元之間都可能雙向聯接。回饋網路：從輸出層到輸入層有回饋，每一個神經元同時接收外來輸入和來自其他神經元的回饋輸入，其中包括神經元輸出信號引回自身輸入的自環回饋。混合型網路：前向網路的同一層神經元之間有互聯的網路。

4.4神經網路的構成和分類（2）從激發函數的類型上劃分高斯基函數神經網路、小波基函數神經網路、樣條基函數神經網路等等（3）從網路的學習方式上劃分①有導師學習神經網路為神經網路提供樣本數據，對網路進行訓練，使網路的輸入輸出關係逼近樣本數據的輸入輸出關係。②有導師學習神經網路不為神經網路提供樣本數據，學習過程中網路自動將輸入數據的特徵提取出來。（4）從學習演算法上來劃分：基於BP演算法的網路、基於Hebb演算法的網路、基於競爭式學習演算法的網路、基於遺傳演算法的網路。

4.4多層前向BP神經網路最早由werbos在1974年提出的，1985年由Rumelhart再次進行發展。多層前向神經網路的結