Chapter3MappingNetworks-云林科技大学.ppt

Chapter 3Mapping Networks Introduction Mapping Networks Associative memory networks 在訓練階段，key-pattern輸入網路，mapping function的功能像是memory，將此pattern記憶起來，因此，在回想(recall)階段，輸入一個不完整或是有雜訊的訊號，依然能正確的 recall。 Feed-forward multilayer perceptrons 利用BP演算法來訓練網路，權重的修正採用最陡坡降法。 Counter-propagation networks Operate as statistically optimal self-programming lookup tables.Provide a bidirectional mapping between the input and output training patterns. Radial Basis Function networks. Powerful supervised –trained network can be used for pattern classification and function approximation. RBFNN will train much more quickly than feed-forward MLP. Associative Memory Networks 記憶容量(memory capability)對於資訊系統而言，記憶(remember)並且降低(reduce)所儲存的資訊量是很重要的。 儲存的資訊必須被適當的存放在網路的記憶體中，也就是說，給予一個關鍵的(key)輸入或刺激(stimulus)，將從聯想式記憶體(associative memory)中擷取記憶化的樣本(memorized pattern)，以適當的方式輸出。 Associative Memory Networks (cont.) 在神經生物學的系統中，記憶(memory)的概念與神經因環境和有機結構的互動改變有關。如果變化不存在，則不會有記憶存在。 如果記憶是有用的，則它必須是可被存取的(從神經系統)，所以會發生學習(learning)，而且也可以擷取(retrieval)資訊。 一個樣本(pattern)可經由學習的過程(learning process)存在記憶體。 Associative Memory Networks (cont.) 依據記憶時間的長短，有兩種記憶形式： Long-term memory Short-time memory 有兩種基本的associative memory Autoassociative memory A key input vector is associated to itself. The input and output space dimensions are the same. Heteroassociative memory Key input vectors are associated with arbitrary memorized vectors. The output space dimension may be different from the input space dimension. General Linear Distributed Associative Memory General Linear Distributed Associative Memory 在學習過程中，給網路一個key input pattern (vector)，然後記憶體轉換這個向量(vector)成一個儲存(記憶)的pattern. General Linear Distributed Associative Memory (cont.) Input (key input pattern) Output (memorized pattern) 對一個n-dimension的神經架構，可聯想(associate) h個pattern。h=n。實際上是h n。 General Linear Distributed Associative Memory (cont.) Key vector xk 和記憶向量yk間的線性對應可寫成：其中W(k)為權重矩陣(weight matrix) 從這些權重矩陣，可建構一個memory matrix M describes the sum of the weight matrices for every inp