神经元的激励函数.PPT

* * 人工神經網路: 監督學習 腦工作機制簡介 為簡單計算元素的神經元 感知器 多層神經網路 多層神經網路的加速學習 Hopfield 神經網路 雙向相關記憶 總結 腦工作機制簡介 機器學習涉及自適應機制，這種機制使電腦能夠透過經驗、實例和模擬的方式進行學習。經過一段時間，學習能力可以改善智慧系統的性能。機器學習的機制是自適應系統的基礎。機器學習最常見的方法是人工神經網路和基因演算法。本講主要介紹神經網路。 神經網路可定義為基於人類大腦的推理模型。大腦由密集的相互連接的神經細胞或基本資訊處理單元(也叫神經元)組成。 人類的大腦大約有100億個神經元，之間連接形成的突觸有60萬億個。透過同時使用多個神經元，大腦執行其功能的速度遠遠超過現在最快的電腦。 儘管每個神經元的結構都很簡單，但這麼多神經元結合起來，其處理能力還是非常強大的。 一個神經元包含一個細胞體、一些樹突和一根很長的軸突。 生物神經網路 人類的大腦可以看作一個高度複雜、非線性、並列的資訊處理系統。 神經網路中資訊的儲存和處理在整個網路中是同時進行的，而不是在某個位置上是同時進行的。換言之，在神經網路中，資料及其處理是全域而不是局部的。 學習是生物神經網路的基礎和本質特徵。這種簡單和自然的方式使得在電腦中類比生物神經網路的嘗試成為可能。 人工神經網路包含很多簡單但高度互聯的處理器，也稱作神經元，這與大腦中的生物神經網路很類似。 神經元之間透過有權重的連結將信號從一個神經元傳遞到另一個神經元。 每個神經元透過其連接收到幾個輸入信號。輸出信號透過神經元的外出連接傳送。外出連接又分出幾個分支傳遞相同的信號。外出分支在網路中其他神經元的進入連接處中止。 典型人工神經網路的結構 生物和人工神經網路間的對比 權重 突觸 輸出 軸突 輸入 樹突 神經元 細胞體 人工神經網路 生物神經網路 神經元示意圖 神經元計算帶權重的輸入信號和並將結果和臨界值θ比較。如果網路的淨輸入比臨界值低，神經元輸出-1，如果網路淨輸入大於或等於臨界值，則神經元啟動並輸出+1。 神經元使用下面的轉移或激勵函數： 這種激勵函數稱作符號函數。 神經元的激勵函數 單個的神經元可以學習嗎？ 1958年，Frank Rosenblatt提出了一種訓練演算法，它提出了第一個訓練簡單的ANN的過程：感知器。 感知器是神經網路最簡單的形式。它由一個可調整 突觸權重的神經元和硬限幅器 組成。 單層雙輸入感知器 感知器 Rosenblatt的感知器的運算基於McCulloch和Pitts 的神經元模型。這個模型由一個線性組合器，後接一個硬限幅器組成。 輸入的權重和，被施加於硬限幅器，硬限幅器當其輸入為正時輸出為 +1，輸入為負時輸出為 -1。 感知器的作用是將輸入分類，也就是將輸入x1 、 x2、… 、 xn ， 分為兩類，即A1和A2 。 因此一個基本的感知器，用超平面 將n維空間劃分成兩個決策區域。超平面由線性分割 函數定義： 感知器的線性分割 感知器如何學習分類任務？ 透過細微地調節權重值來減少感知器的期望輸出和實際輸出之間的差別可以完成這一任務。初始權重值可以任意指定，通常在範圍 [-0.5, 0.5] 內，然後透過訓練實例進行調整。 *