第8章基于数学原理神经网络不讲.pptVIP

Thank you 拯畏怖汾关炉烹霉躲渠早膘岸缅兰辆坐蔬光膊列板哮瞥疹傻俘源拯割宜跟三叉神经痛-治疗三叉神经痛-治疗 * 考虑一个由N维输入空间到1维输出空间的映射。设N维空间有P个数据点 Xp ，p=1, 2, …, P ，在输出空间相应的目标值为dp，p=1, 2, …, P。插值问题是寻找一个非线性映射函数F(X)，使其满足下述插值条件 F(Xp)=d p， p=1, 2, …, P (5.1) 式中，函数F描述了一个插值曲面。 * 采用径向基函数技术解决插值问题的方法是，选择P个基函数，每一个基函数对应一个训练数据，各基函数的形式为 ： 式中基函数φ为非线性函数，训练数据点Xp是φ的中心。基函数以输入空间的点X与中心Xp的距离作为函数的自变量。由于距离是径向同性的，故函数φ被称为径向基函数。 将式(5.1)的插值条件代入上式，得到P个关于未知系数wp，p=1, 2, …, P的线性方程组 如下页 * * * * * * * * 用RBF网络解决插值问题时，基于上述正则化理论的RBF网络称为正则化网络。其特点是隐节点数等于输入样本数，隐节点的激活函数为Green函数，常具有式(5.8)所示的Gauss形式，并将所有输入样本设为径向基函数的中心，各径向基函数取统一的扩展常数。 图5.2所示为N-P-l结构的RBF网，即网络具有N个输入节点，P个隐节点，l个输出节点。其中P为训练样本集的样本数量，即隐层节点数等于训练样本数。输入层的任一节点用i表示，隐层的任一节点用j表示，输出层的任一节点用k表示。对各层的数学描述如下：X= (x1，x2，…，xN)T为网络输入向量；φj(X)，(j=1,2,…, P)，为任一隐节点的激活函数，称为“基函数”,一般选用格林(Green)函数；W为输出权矩阵，其中wjk, (j=1,2,…, P, k=1,2,…, l), 为隐层第j个节点与输出层第k个节点间的突触权值；Y=(y1，y2，…，yl) T为网络输出；输出层神经元采用线性激活函数。 * 径向基函数的扩展常数是根据数据中心的散布而确定的，为了避免每个径向基函数太尖或太平，一种选择方法是将所有径向基函数的扩展常数设为 式中是所选数据中心之间的最大距离，M是数据中心的数目。 * * * * 则由线性方程WTφ(X)=0确定了M维φ空间中的一个分界超平面，这个超平面使得映射到M维φ空间中的P个点在φ空间是线性可分的。而在N维X空间，方程WTφ(X)=0描述的是X空间的一个超曲面，这个超曲面使得原来在X空间非线性可分的P个模式点分为两类，此时称原空间的P个模式点是可分的。 在RBF网络中，将输入空间的模式点非线性地映射到一个高维空间的方法是，设置一个隐层，令 φ(X)为隐节点的激活函数，并令隐节点数M大于输入节点数N从而形成一个维数高于输入空间的高维隐(藏)空间。如果M够大，则在隐空间输入是线性可分的，从隐层到输出层，可采用与第3章单层感知器类似的解决线性可分问题的算法。 Cover定理关于模式可分性思想的要点是“非线性映射”和“高维空间”。事实上，对于不太复杂的非线性模式分类问题，有时仅使用非线性映射就可以使模式在变换后的同维空间变得线性可分。下面通过解决XOR问题进一步理解模式的φ可分性。 * 第八章 基于数学原理的神经网络 除了的多层感知器外，径向基函数神经网络(Radial Basis Function Neural Network，RBF网)是另一类常用的3层前馈网络，也可用于函数逼近及分类。 与BP网相比， RBF网结构更简洁，学习速度也更快。 本章介绍RBF网的结构、工作原理和常用学习算法。 8.1径向基函数RBF 8.1.1 基于径向基函数技术的函数逼近与内插 对于RBF网络工作原理的理解可基于2种不同的角度： ①当用RBF网络解决非线性映射问题时，用函数逼近与内插的观点来理解； ②当用RBF网络解决复杂的模式分类任务时，用模式可分性观点来理解。 1963年Davis提出高维空间的多变量插值理论。径向基函数是20世纪80年代后期Powell解决多变量有限点插值问题时引入的。 设N维空间有P个数据点 Xp ，p=1, 2, …, P ，在输出空间相应的目标值为dp，p=1, 2, …, P。插值问题是寻找一个非线性映射函数F(X)，使其满足下述插值