函数的近似.pptVIP

Radial Basis Function Networks (RBFN)  函數的近似 函數近似(function approximation)： 在於使用linear projection theorem去描述一個實數向量x的函數f(x)： 及 其中 稱為基底函數(basis function) 神經網路與函數的近似 神經網路與函數的近似 函數近似的主要工作： ─ 選擇基底函數 ?─ 計算weights wi─ 決定基底函數的個數 N 多層前饋式神經網路的基底函數： Radial Basis Function(RBF)神經網路 多層前饋式神經網路的基底函數： 另一種基底函數：Radial Basis Function(RBF) 　 是Gaussian function，也就是 ? 或 RBF 神經網路 我們得到以Gaussian function為基底函數的神經網路函數近似器 此即Radial Basis Function(RBF)神經網路。 　 RBF神經網路學習 RBF神經網路的學習機制： 誤差倒傳遞 + Gaussian中心 (Mean)和變異數(Variance)的調整 監督式學習：使用誤差倒傳遞同時調整weight、Gaussian中心和變異數 自組織學習：兩階段學習。第一階段根據輸入資料做叢聚分析(clustering)─例如K-means或SOM方法，每個叢聚的中心和變異數即可求出；第一階段再以誤差倒傳遞調整weight。 基底函數個數的Trade-off ─ 個數太少，可能無法涵蓋整個domain ─ 如果個數太多而且資料夾帶許多雜訊，則函數可能會被雜訊掩蓋。 機率式神經網路(PNN)  Gaussian 機率密度函數的估測： σ：平滑參數 PNN的特色: 1.選擇適當平滑參數σ值。 2.使用Bayesian最佳化。 3.容許資料誤差。 4.適合稀疏取樣(sparse sampling)。 5. 當資料數目增加時,可將參數σ較小，不須重新訓練。 Bias-Variance矛盾 RNFN v. s. FIS Both the RBFN and the FIS under consideration use the same aggregation method (namely, either weighted average or weighted sum) to derive their overall outputs. The number of receptive field units in the RBFN is equal to the number of fuzzy if-then rules in the FIS. Each radial basis function of the RBFN is equal to a multidimensional composite MF of the premise part of a fuzzy rule in the FIS. One way to achieve this is to use Gaussian MFs with the same variance in a fuzzy rule, and apply product to calculate the firing strength. The multiplication of these Gaussian MFs becomes a multidimensional Gaussian function – a radial basis function in RBFN. RNFN v.s. FIS Corresponding radial basis function and fuzzy rule should have the same response function. That is, they should have the same constant terms (for the original RBFN and zero-order Sugeno FIS) or linear equations (for the extended RBFN and first-order Sugeno FIS). The functional equivalence between FIS and RBFN cross-fertilizes both computing paradigms.