第8章基于数学原理的神经网络.ppt

第八章 基于数学原理的神经网络 8.1径向基函数RBF 8.1.3模式可分性观点与广义RBF网络 采用径向基函数技术解决插值问题的方法是，选择P个基函数，每一个基函数对应一个训练数据，各基函数的形式为 ： 式中基函数φ为非线性函数，训练数据点Xp是φ的中心。基函数以输入空间的点X与中心Xp的距离作为函数的自变量。由于距离是径向同性的，故函数φ被称为径向基函数。 将式(5.1)的插值条件代入上式，得到P个关于未知系数wp，p=1, 2, …, P的线性方程组 如下页 考虑一个由N维输入空间到1维输出空间的映射。设N维空间有P个数据点 Xp ，p=1, 2, …, P ，在输出空间相应的目标值为dp，p=1, 2, …, P。插值问题是寻找一个非线性映射函数F(X)，使其满足下述插值条件 F(Xp)=d p， p=1, 2, …, P (5.1) 式中，函数F描述了一个插值曲面。 用RBF网络解决插值问题时，基于上述正则化理论的RBF网络称为正则化网络。其特点是隐节点数等于输入样本数，隐节点的激活函数为Green函数，常具有式(5.8)所示的Gauss形式，并将所有输入样本设为径向基函数的中心，各径向基函数取统一的扩展常数。 图5.2所示为N-P-l结构的RBF网，即网络具有N个输入节点，P个隐节点，l个输出节点。其中P为训练样本集的样本数量，即隐层节点数等于训练样本数。输入层的任一节点用i表示，隐层的任一节点用j表示，输出层的任一节点用k表示。对各层的数学描述如下：X= (x1，x2，…，xN)T为网络输入向量；φj(X)，(j=1,2,…, P)，为任一隐节点的激活函数，称为“基函数”,一般选用格林(Green)函数；W为输出权矩阵，其中wjk, (j=1,2,…, P, k=1,2,…, l), 为隐层第j个节点与输出层第k个节点间的突触权值；Y=(y1，y2，…，yl) T为网络输出；输出层神经元采用线性激活函数。 径向基函数的扩展常数是根据数据中心的散布而确定的，为了避免每个径向基函数太尖或太平，一种选择方法是将所有径向基函数的扩展常数设为 式中是所选数据中心之间的最大距离，M是数据中心的数目。 则由线性方程WTφ(X)=0确定了M维φ空间中的一个分界超平面，这个超平面使得映射到M维φ空间中的P个点在φ空间是线性可分的。而在N维X空间，方程WTφ(X)=0描述的是X空间的一个超曲面，这个超曲面使得原来在X空间非线性可分的P个模式点分为两类，此时称原空间的P个模式点是可分的。 在RBF网络中，将输入空间的模式点非线性地映射到一个高维空间的方法是，设置一个隐层，令 φ(X)为隐节点的激活函数，并令隐节点数M大于输入节点数N从而形成一个维数高于输入空间的高维隐(藏)空间。如果M够大，则在隐空间输入是线性可分的，从隐层到输出层，可采用与第3章单层感知器类似的解决线性可分问题的算法。 Cover定理关于模式可分性思想的要点是“非线性映射”和“高维空间”。事实上，对于不太复杂的非线性模式分类问题，有时仅使用非线性映射就可以使模式在变换后的同维空间变得线性可分。下面通过解决XOR问题进一步理解模式的φ可分性。 即网络具有N个输入节点，M个隐节点，l个输出节点，且MP。 X= [x1，x2，…，xN]T为网络输入向量； φj(X)，(j=1,2,…, M)，为任一隐节点的激活函数，称为“基函数”,一般选用格林(Green)函数； W为输出权矩阵，其中wjk, (j=1,2,…, M, k=1,2,…,l), 为隐层第j个节点与输出层第k个节点间的突触权值； T=[T1,T2,…Tl]T 为输出层阈值向量； Y=(y1，y2，…，yl) T为网络输出；输出层神经元采用线性激活函数。 RBP网络的设计包括结构设计和参数设计。结构设计主要解决如何确定网络隐节点数的问题，参数设计一般需考虑包括3种参数：各基函数的数据中心和扩展常数，以及输出节点的权值。 当采用正则化RBP网络结构时，隐节点数即样本数，基函数的数据中心即为样本本身，参数设计只需考虑扩展常数和输出节点的权值。 当采用广义RBP网络结构时，RBP网络的学习算法应该解决的问题包括： 如何确定网络隐节点数， 如何确定各径向基函数的数据中心及扩展常数，以及如何修正输出权值。 * 除了的多