模仿生物神经元模型的转移函数.PPT

泛朦第三系—神經系(Neural Network) 類神經網路導論 類神經網路（artificial neural network）或譯為人工神經網路： 模仿生物神經網路的資訊處理系統。 精確定義 一種計算系統：硬體、軟體。 大量簡單的相連人工神經元：模仿生物神經網路的能力。 取得資訊：外界環境、人工神經元。 輸出結果：外界環境其他人工神經元。 背景（1） 1957年（電腦發展的初期）：第一種類神經網路模式— 感知機（ Perceptron ）提出。 1960年代中期沒落。 沒落因素 1.本身理論無法突破（ EX：XOR問題）。 2.數位電腦、人工智慧的吸引。 3.當時相關技術無法實現「神經電腦」。 背景（2） 80年代中期：類神經網路的研究復興，而在短短數年之內蔚為風潮。 原因：如下4點。 復興原因（1） 類神經網路在理論的建立與模式的開發上有了突破，最明顯的突破包括： 霍普菲爾網路（ Hopfield neural network， HNN） 倒傳遞網路（Back-propagation network）。 復興原因（2） 解決電腦科學與人工智慧的難題，（EX：樣本識別、機器學習）。 電子、光學等技術進展：提供實現「神經電腦」可能性（EX：基於VLSI的神經電腦與光神經電腦的誕生）。 復興原因（3） 從現代生物學、認知學、心裡學對生物神經網路的瞭解，提供了發展新的類神經網路模式的啟示。 生物神經元模型 生物神經網路： 由巨量的神經細胞，或稱神經元所組成，神經細胞的形狀和一般的細胞有很大的不同。 神經細胞 神經核：神經細胞呈核狀的處理機構。 軸索（神經軸）：神經細胞成軸索狀的輸送機構。 樹突（神經樹）：神經細胞成樹枝狀的輸出入機構。 突觸（神經節）：神經細胞神經樹上乘點狀的連結機構。 人工神經元模型（1） 類神經網路：由許多的人工神經細胞（artificial neuron）所組成。又稱類神經元、人工神經元、處理單元（ processing element）。 每一個處理單元的輸出以扇形送出，成為其它許多處理單元的輸入。 人工神經元模型（2） 人工神經元模型（3） f ＝模仿生物神經元模型的轉移函數（transfer function）。 Wij ＝模仿生物神經元模型的神經鏈結強度，又稱鏈結加權值。 人工神經元模型（4） Xi ＝模仿生物神經元模型的輸入訊號（input signal）。 θ＝模仿生物神經元模型的閥值（threshold value）。 人工神經元模型（5） 鏈結（connection） ：介於處理單元間的訊號傳遞路徑。 每一個鏈結上有一個數值的加權值Wij，用以表示第i處理單元對第j處理單元之影響程度。 人工神經元模型（6） 一個類神經網路:由許多個人工神經元所組成，並且可以組成不同的 網路模式（network model） 或 網路典範（networkparadigm）。 類神經網路模型(1) 倒傳遞網路（back- propagation network，BPN ）:應用最普遍。 BPN:包含許多層(含若干個處單元) 類神經網路模型(2) 輸入層單元:輸入訊息。 輸出層單元：輸出訊息。 隱藏層單元：提供類神經網路表現處理單元間的交互作用與問題的內在結構的能力。 網路分類（1） 目前著名類神經網路不下數十種，主要分為四類 1.監督式學習網路：從問題領域中取得訓練範例（有輸入變數值，也有輸出變數），並從中學習輸入變數與輸出變數內在對映規則，以應用於新的案例（只有輸入變數值，而需推論輸出變數值的應用）如BP。 網路分類（2） 2.無監督式學習網路：從問題領域中取得訓練範例（只有輸入變數值），並從中學習範例的內在聚類規則，以應用於新的案例。 3.聯想式學習網路：從問題領域中取得訓練範例（狀態變數值），並從中學習範例的內在記憶規則，以應用於新的案例，如霍普菲爾網路。 網路分類（2） 4.最適化應用網路：對一問題決定其設計變數值，使其在滿足設計變數下，使設計目標達最佳狀態的應用，如退火神經網路。 類神經網路運作（1） 類神經網路的運作過程分成兩個階段： 學習過程：從範例學習，以調整網路連節加權值的過程 。 回想過程：網路依回想演算法，以輸入資料決定網路輸出資料的過程。 類神經網路運作（2） 1.訓練範例：藉此調整網路連結加權值。訓練範例型式依所使用的網路模式之不同而異。 2.測試範例：用以評估網路學習成果所使用的範例。 （1.2）差異：前者只用回想演算法得到推論輸出值，並與目標輸出值比較，以評估網路學習精度。 類神經網路運作（3） 3. 待推案例：網路學習過程完後，可用網路推論待推案例的結果。 （2.3）