7_基于数学原理的神经网络.pptVIP

第7章 径向基函数神经网络 7.1径向基函数RBF 7.1.2 径向基函数解决插值问题 7.1.3 完全内插存在的问题 (1) 由于插值曲面必须通过所有训练数据点，当训练数据中存在噪声时，神经网络将拟合出一个错误的插值曲面，从而使其泛化能力下降。 (2)由于径向基函数的数量与训练样本数量相等，当训练样本数远远大于物理过程中固有的自由度时，插值矩阵求逆时可能导致不稳定。 7.1.3 完全内插存在的问题 存在上述问题的原因在于，由有限数据点恢复其内部蕴含的问题是一个反问题，而且往往是不适定的。 几个概念 正问题与反问题 在掌握了事物的发展规律和事物之间相互作用规律的基础上，便有可能根据物理规律由已知参数来推测及计算观测得到的资料和数据，这一过程称为正问题 正问题是由原因推测结果 正问题和反问题是输入、系统、输出的问题 输入 系统 输出 几个概念 正问题与反问题 反问题是相对正问题而言的，是由结果推测原因 反问题有两种形式 一种形式是根据全部或部分已知系统和输出求输入 另一种是在全部或部分已知输入和输出的情况下求系统 几个概念 适定的（well-posed）与不适定的（ill-posed） Hardmard曾经在20世纪初提出了不适定的概念 几个概念 反问题通常是不适定的 存在性准则可能得不到满足，即某些输入矢量没有确定的输出对应； 实际样本提供的信息不足以唯一地确定重构模型，于是，唯一性准则得不到满足 由于存在噪声干扰，相近的输出可能对应于差距很大的输出，于是连续性得不到满足 求解反问题的学习算法必须附加先验（专业或经验）知识等附加条件。因为，任何数学手段都不能补救信息缺失 7.2 正则化理论与正则化RBF网络 7.2.1 正则化理论 正则化理论是Tikhonov于1963年提出的一种用以解决不适定问题的方法。正则化的基本思想 是通过加入一个含有解的先验知识的约束来控制映射函数的光滑性，若输入-输出映射函数是光滑的，则重建问题的解释连续的，意味着相似的输入对应着相似的输出。 7.2 .2 正则化RBF网络 1.正则化网络的结构与点 用RBF网络解决插值问题时，基于上述正则化理论的RBF网络称为正则化网络。 其特点是隐节点数等于输入样本数，隐节点的激活函数为Green函数，常采用Gauss形式，并将所有输入样本设为径向基函数的中心，各径向基函数取统一的扩展常数。 7.3 模式可分性观点与广义RBF网络 1、模式的可分 若N维输入样本空间的样本模式是线性可分的，总存在一个用线性方程描述的超平面，使两类线性可分样本截然分开。 若两类样本是非线性可分的，则不存在一个这样的分类超平面。但根据Cover定理，非线性可分问题可能通过非线性变换获得解决。 7.3 模式可分性观点与广义RBF网络 在RBF网络中，将输入空间的模式点非线性地映射到一个高维空间的方法是，设置一个隐层，令 φ(X)为隐节点的激活函数，并令隐节点数M大于输入节点数N从而形成一个维数高于输入空间的高维隐(藏)空间。如果M够大，则在隐空间输入是线性可分的，从隐层到输出层，可采用与第3章单层感知器类似的解决线性可分问题的算法。 广义RBF网络与正则化RBF网络有以下几点不同： ⑴径向基函数的数目M与样本数P不相等，且MP。 ⑵径向基函数的中心不再限于数据点，由训练算法确定。 ⑶各径向基函数的扩展常数不再统一，其值由训练算法确定。 ⑷输出函数的线性中包含阈值参数，用于补偿基函数在样本集上的平均值与目标值之平均值之间的差别。 7.4 RBF学习算法 RBP网络的设计包括结构设计和参数设计。结构设计主要解决如何确定网络隐节点数的问题，参数设计一般需考虑包括3种参数：各基函数的数据中心和扩展常数，以及输出节点的权值。 另一种方法是对各聚类域中的样本取均值，另 表示第j个聚类域，Nj为第j个聚类域中的样本数，则 各聚类中心确定后，可根据各中心之间的距离确定对应径向基函数的扩展常数。令 设输入为 时，第j个隐节点的输出为 若RBF网络的待定输出权值为 用LMS方法求解 则网络的输出向量为 7.4.2 其他学习算法 1.数据中心的监督学习算法 最一般的情况是，隐节点RBF函数的中心、扩展常数和输出层均采用监督学习算法进行训练，及所有参数都经历一个误差修正的学习过程，其方法类似与BP算法 7.5 RBF网络学习算法的MATLAB实现 1、RBF的精确设计 newrbe用来精确设计RBF网络。精确是指该函数生产的网络对于训练样本数据达到了0误差。 net=newrbe(P,T,SPREAD) P,T－输入矢量、目标矢量。 SP