g資訊工程所醫學影像處理實驗室.pptVIP

Chapter 5Radial-Basis Function Networks Introduction Multilayer perceptron的BP是一種stochastic approximation 在本章中，將類神經網路的設計視為是在高維空間的curve-fitting的過程。 Learning將等效於在多維空間中找尋最佳fitting到training data的曲面。 Generalization則等效於在此空間中去內插test data Radial-Basis Function (RBF) network有三層 輸入層 隱藏層：applies a nonlinear transformation from the input space to the hidden space. 輸出層：is linear, supplying the response of the network to the activation pattern applied to the input layer. Cover’s Theorem on the Separability of Patterns 當RBF網路使用來執行一個複雜的圖形分類工作，問題的基本解可以非線性的方式將輸入轉換到另一高維的空間。 Cover’s Theorem on the Separability of Patterns A complex pattern-classification problem cast in a high-dimensional space nonlinearly is more likely to be linearly separable than in a low-dimensional space. 相當於將x由m0-dimensional 的 input space map 到 m1-dimensional 的 hidden space 或稱 feature space Cover’s Theorem on the Separability of Patterns 令X 為N個pattern, x1, x2,…, xN所構成的集合，每個pattern可被分成X1或X2類。 假設pattern x是一個在m0維輸入空間的一個向量，向量j(x)將本來在m0維輸入空間的向量對應到維度為m1的新空間。其中ji(x)為隱藏函式(hidden function)，因此，由hidden function所展開的空間稱為hidden space或feature space。 X 的一個dichotomy稱為是j-separable，必須存在一個m1維的向量w滿足 Cover’s Theorem on the Separability of Patterns 因此，hyperplane (在j-space的分割面)可定義成 輸入空間的分割面(separating surface)可因此定義成 若mapping是由pattern vector座標的r-wise乘積的線性組合所求得，則此分割面稱為rth-order rational varieties。 一個在m0維度上r階的rational variety，定義成輸入向量x的座標上的r階homogeneous equation。其中，xi為輸入向量x的第i個成分， x0設為unity。 向量x的成分xi的r階乘積(xi1 xi2... xir)稱為單項式(monomial) Cover’s Theorem on the Separability of Patterns 一個m0維的輸入空間，在r階多項式中會有 個單項式 Eq.(5.4)所描述的分割面可有下列形式： Hyperplanes (1st-order rational varieties) Quadrices (2nd-order rational varieties) hyperspheres (3rd-order rational varieties) Cover’s Theorem on the Separability of Patterns Cover’s separability theorem 考慮一個與機率有關的實驗，假設所有dichotomies的機率相等 則一特定dichotomy能被j-separate的機率為其中二項式係數為 Cover’s Theorem on the Separability of Patterns 投擲(N-1)次硬幣，會有小於或等於(m1-1)次地機率出現頭。 隱藏層空間維度m1越高，則P(N, m1)的機率將