Elman人工神经网络.pptVIP

水資源資訊系統研究室 章節目錄 第一節 序論 第二節 人類的記憶系統 第三節 時間稽延類神經網路 第四節 回饋式類神經網路 第五節 回饋式網路架構 第六節 即時回饋學習演算法 第七節 應用實例 本章重點回顧 本章習題 第一節 序論 生物神經能適切的將時間因子融入其運作系統，有效地處理非穩定程序（nonstationary processes）的統計變異情況。 ? 蝙蝠的聲納系統 第二節 人類的記憶系統 人類有別於其他動物的特徵之一，就是具有龐大的資訊儲存容量，使得人類用有良好的學習與記憶能力，因此根據記憶在大腦中形成的時間性，可將記憶分成三種： 知覺記憶(sensory memory, SM) 短暫記憶(short-term memory, STM) 長期記憶(long-term memory, LTM) 知覺記憶 第一階段的記憶，在知覺接收器接到外界的訊息後，便放置於暫存記憶中 知覺記憶的功能是為了感知機制(perceptual mechanisms)讓感官事件的記錄保留時間足夠長，等到再接受類似的訊息刺激數次後，此訊息便轉存於短暫記憶 知覺記憶除了會隨著時間自然衰退的特性之外，還有其他不同於其他神經儲存的特性： (1)所有外界進來的訊息都會先被儲存在知覺記憶 (2)在知覺記憶內所儲存的資訊可以被消除 短暫記憶 第二階段的記憶，在知覺記憶內的資訊不會在瞬間內完全消失，就如整頁的文字一閃而過，其中有些會被記得數秒鐘。 必須經過「意識」程序將知覺記憶轉換到短暫記憶，透過神經系統的迴圈作用，將知覺記憶的最後數秒鐘資訊保存下來。 如果知覺訊息被認為很重要，記憶儲存大門就如同觸動扳機般指示記憶堆疊(memory stack)永久性的儲存此訊息。 由於短暫記憶容量相當小，新增的資訊將會消除並覆蓋最舊的訊息，所以當新的訊息進來後，最舊的就會從記憶中消失。 長期記憶 第三階段的記憶，一般普遍認為長期記憶形成的過程，突觸效能的改變是關鍵因素。 在這類型的記憶對訊息的儲存是屬於永久性或者至少是一段相當長的時間。 長期記憶在大腦內的容量相當大，資訊能夠儲存在長期記憶係短暫記憶的訊息經過重複地練習的結果，此為學習與記憶的過程。 長期記憶的遺失則是來自於一種遺忘現象的產生，這種現象是資訊從儲存空間中遺失。 短暫記憶與長期記憶的比較如下： 短暫記憶：動態儲存、簡易且快速存取、易受時間及環境變化而造成資訊流失、儲存容量小、有高能量需求。 長期記憶：(靜態)平衡儲存、穩定且具強健性、超大儲存容量、記憶形成過程複雜、存取較為困難且慢、不易消除穩定的記憶。 第三節 時間稽延類神經網路 Time-Delay Neural Networks, TDNN 許多問題中，「時間」常是一個重要的因素 類神經網路在處理這類的問題時，必須能夠加入「過去」的資訊，因為光靠「現在」的訊息當作輸入項會忽略掉許多重要的相關因子，即時間前後資訊間的相關特性 將時間序列轉換成空間序列的型態輸入網路中，也就是將橫向不同時間的資料截取片段改成縱向的輸入。 時間稽延類神經網路即依上述方法將輸入訊息各自稽延數個時期，並同時當作前饋式類神經網路的輸入向量 一個單一神經元同時接收（連結）n 種輸入訊息，且每種輸入訊息皆包含目前及 m 個時間稽延的資料，故輸入向量大小為 (m+1) × n 典型的 TDNN 結構是 輸入層將稽延的訊息合併輸入 利用標準的倒傳遞演算法調整連結權重向量 訓練後的網路所建立的是一組前後相互關連的輸入型態（input pattern）所映射的輸出關係。 假設集水區內有 A～E 五個水文站，A 為流量站，B～E 為雨量站 若以靜態類神經網路為架構來預測 A 站下一小時的流量，則輸入維度為3×5=15個，輸入層至隱藏層的連結權重向量大小為 15×K（K：隱藏層個數）；此一作法大大提高網路的訓練時間與複雜度。 承上述例子，當模式架構完成之後，因 固定了「輸入為三小時內的資料—輸出為下一小時資料」的網路輸入—輸出型態，故只適用於此集水區的特定狀況 網路所記憶的僅為集水區這三小時內的資訊，對於超過三小時的訊息則完全沒有記憶 第四節 回饋式類神經網路 靜態式類神經網路（static neural network） 回饋動作 在靜態網路中(BP)，以監督式學習方式進行訓練時，也有一個回傳（propagation）的動作 ，將誤差回傳來調整權重 這樣的動作是在網路外進行，並不是發生在網路內部神經元的架構內，因此只能算是一種靜態的類神經網路。 一般常用的動態類神經網路為回饋式類神經網路 （Recurrent Neural Netwo