nn5近年原文近年原文.ppt

§5.1径向基函数神经网络(RBF)的基本概念设计一个监督神经网路可以有多种方法：BP：递归技术，梯度下降法，随机逼近。高维空间中的曲线拟合(逼近)问题。学习等价于在多维空间中寻找一个能够最佳拟合训练数据的曲面，利用这个多维曲面对测试数据进行插值，RBF的出发点。隐藏层提供一个“函数”集，该函数基在输入模式（向量）扩展至隐藏空间时为其构建了一个任意的“基”；该函数被称为“径向基函数，一、RBF的基本概念径向基函数神经网络是一种仅包含一个隐藏层的前馈型神经网络,隐藏层激活函数为径向基函数。径向基函数：隐藏单元提供一个“函数”集，该函数基在输入模式（向量）扩展至隐藏空间时为其构建了一个任意的“基”二、RBF的常用函数形式三、和BP神经网络的主要区别1）RBF只有一个隐藏层，BP网络可以不止一个；2）RBF网络的隐藏层与输出层有不同的固定性质和功能，BP网络的隐藏层与输出层性质一样。RBF网络的隐藏层是非线性的，输出层是线性的；BP神经网络的隐藏层与输出层都可以是非线性的。RBF网络的隐藏层神经元非线性激活函数的取值决定于输入矢量与中心矢量之差的欧氏模(径向基函数的由来)；BP网络中非线性激活函数取值决定于Ij=X?WjT，WjT为的行矢量。RBF网络的隐藏层用局域近似将输入矢量映射到较高维的函数空间，使它与输出层的关系成为线性可分问题并在第二层完成分类；BP网络主要用两层或两层以上的非线性映射求出非线性输入输出关系的全局近似。§5.2RBF的理论基础柯奥定理(Cover’sTheorem,1965)Cover’sTheorem:Acomplexpattern-classificationproblemcastinahigh-dimensionalspacenonlinearlyismorelikelytobelinearlyseparablethaninalow-dimensionalspace.柯奥定理的内容是：将一个复杂的模式分类问题非线性地投射到高维空间，会有较大可能使之成为线性可分的问题。柯奥定理数学描述：插值理论§5.3RBF神经网络一、RBF神经网络的正则网络一、RBF神经网络的正则网络2、正则网络二、RBF神经网络的一般化三、广义径向基函数网络GRBF§5.4RBF神经网络的学习算法径向基函数?(||x-ti||)为Gauss函数协方差矩阵的形式和意义协方差矩阵的形式和意义中心的选取中心的选取：自组织映射，K-均值聚类中心的选取：监督选择监督选择监督选择W的得到§5.3用RBF神经网络解决XOR问题用RBF神经网络解决XOR问题*人工神经网络电子教案教学课件Chapter5径向基函数神经网络申金媛用心做事doeverythingwithheart用心做事doeverythingwithheart用心做事doeverythingwithheart用心做事doeverythingwithheart高斯函数（Gaussian）逆二次项函数（InverseMultiquadrics）二次项函数（InverseMultiquadrics）5.15.25.3为的m1个实函数，m1≥m0,如果存在一个m1维矢量W*，使?——线性可分的分界面，由W*T?(X)=0决定，它是m1维空间中的一个超平面则{A1和A2}为线性可分的设有N个模式矢量X1,X2,…XN分别属于两个类别之一(A1和A2),函数集合给定一个包含N个不同点的集合和相应的N个实数的一个集合寻找一个函数F：RN—R1满足下述插值条件，F(xi)=di,i=1,2,……N，Micchelli定理：如果的点的集合，则N*N阶的插值矩阵?(第ji个元素为）是非奇异的。中N个互不相同RBF网络的一般结构m0-m1-1学习要求：满足插值定理径向基函数矢量的欧氏模EuclideanNorm中心点1、正则化解决求解逆问题的病态问题基本思想：在评价泛涵中加入隐含某种先验信息（例如输入输出映射平滑性的约束）的辅助非负泛涵项来稳定逼近问题的解。输入信号：xi?Rm，i=1,2,……,N,期望响应：di?R1，i=1,2,……,N,F(x)表示逼近函数，求F(x)使评价泛涵:达到极小。G是对称的GT=G,具有平移不变性和旋转不变性，G为Green矩阵，由Green函数组成，第二项为正则化项