第五章：神经网络理论基础.pptVIP

第五章：神经网络理论基础 北京工业大学 当　　　时，解方程组　　　　　　即可得其对应的特征向量： 解之得 于是可以得到：　　　，　　　，　　没有任何限制。在这里取 　　　，则可以得到　　　时对应的特征向量： §5.3　神经网络学习基础 二、泰勒级数(Taylor series) (1) 单变量函数的Taylor级数展开 假设　　是一个单变量解析函数且各级导数均存在，那么　　可以表示成确定点　上的Taylor级数展开： (5.3.17) §5.3　神经网络学习基础 由式(5.3.17)可知，解析函数　　可以取其Taylor级数的有限项近似估计。如果　　 ，则估计值是精确的；当　越接近于　时，估计值越接近于精确值；若　离　较远，则只有更高阶的Taylor级数近似估计值接近于精确值。这是因为Taylor级数中每个相邻的后继项都包含　　　的高次项， 　越接近于　 ，这些项将按几何级数减少。 (2) 多变量函数的Taylor级数展开 由于神经网络的性能取决于神经元的阈值及相互连接权值，所以神经网络的性能函数是一个多变量函数。因此，在讨论神经网络学习之前，应该清楚多变量函数的Taylor级数展开形式。 §5.3　神经网络学习基础 给定 n 维多变量函数　　　　　　　　　　 ，该函数在点　上的Taylor级数展开为： (5.3.18) §5.3　神经网络学习基础 式(5.3.18)