机器学习_第04讲-2-1-4-ANN.pptVIP

* 径向基(RBF)神经网络 写成向量形式为: 称为插值矩阵,若其可逆,则可由上式解出W: Micchelli定理给出了 的可逆性条件:对于一大类 函数,如果X1, X2 ,…, XP自各不相同,则其可逆. 大量 径向基函数满足Micchelli定理,如 1) Gaussian(高斯函数) 2)Reflected Sigmoidal(反演S型)函数 3)Inverse multiquadrics (逆多二次)函数 * 径向基(RBF)神经网络 完全内插存在的问题(正则化RBF网络): 1)经过所有训练数据点,当存在噪声时,泛化能力差 2)径向基函数数目与训练样本数相同,当训练样本数远远大于系统的固有自由度时,问题是超定的,插值矩阵求逆容易不稳定 x1 x2 xN y1 y2 yl G(x, x1) G(x, x2) G(x, xP) * 径向基(RBF)神经网络 模式可分性: 设F为P个输入模式Xp, (p=1,2,…,P)的集合.每个模式 必属于F1和F2的某一类.若存在一个输入空间的超 曲面,使得分别属于F1和F2的点分成两部分,就称这 些点的二元划分关于该曲面是可分的.若该曲面为 线性方程确定的超平面,则称这些点的二元划分关 于该平面是线性可分的. * 径向基(RBF)神经网络 模式可分性: 设由一组函数构成的向量 将原来N维空间的P个模式点映射到新的M维空间 (MN)的相应点上.若在该M维空间上存在M维向量W 则由线性方程 确定了M维 空间中的一个分 界超平面.该超平面使得映射到M维 空间的P个点线 性可分.而在N维X空间, 描述的是X空间的 一个超曲面,它将原空间的P个模式点分成两类. * 径向基(RBF)神经网络 RBF网络将输入空间的模式点非线性映射到一个高 维空间的做法是:设置一隐层,令 为隐节点的激活 函数,并令隐节点数M大于输入节点数N.若M足够大, 则在隐空间是线性可分的.从隐层到是输出层可采用 与感知器类似的解决线性可分问题的算法. 如: (0,0) (0,1) (1,0) (1,1) (1,1) (0,0) (0,1) (1,0) * 径向基(RBF)神经网络 广义RBF网络: 1)径向基函数数目M与训练样本数N不同,且一般MN 2)径向基函数的中心不再限制在数据点上,由训练确定 3)各径向基函数的扩展常数不再统一，由训练确定 4)输出函数的线性表达式中包含阈值参数，用于补偿函数在样本集上的平均值与目标之平均值之间的差别 φ1 φ2 φM W1 W2 Wl x1 x2 xN y1 y2 yl φ0 T * 径向基(RBF)神经网络 广义RBF网络的学习算法: 结构设计(多凭经验)和参数设计(3类参数:各基函数的中心，扩展常数以及输出节点的权值) 输出节点的权值一般由有监督的学习算法确定 各基函数的中心及扩展常数可由下列三种方法确定: 1)数据中心从样本中选取：样本密集的地方中心多些,稀疏的地方少些。若数据均匀分布，中心也可均匀分布。总之，选出的数据中心应有代表性。扩展常数由分布确定，如 , dmax是数据中心的最大距离，M是中心数目。 2)数据中心的自组织选择(k-means聚类算法) 3)数据中心的监督学习算法 * 径向基(RBF)神经网络 广义RBF网络的k-means聚类学习算法: 首先估计中心的数目M,设C(k)表示第k次迭代时的中心. 1)初始化中心:c1(0), c2(0),…, cM(0) 2)计算各样本点与聚类中心的欧氏距离: 3)相似匹配: 当 时 被归为第j*类. 4)更新各类聚类中心. (i) 均值方法 (ii) 竞争学习算法 * 径向基(RBF)神经网络 广义RBF网络的k-means聚类学习算法: 5) k++,若不满足终止条件(C(k)的改变两小于阈值)转2 扩展常数的确定:设 则扩展常数可取为 输出层权值的确定: (i) 最小均方算法(类似感知器算法) (ii) 伪逆法:令 则隐层输出矩阵为 ,令 则 * 径向基(RBF)神经网络 广义RBF网络的数据中心的监督学习算法: 类似BP算法的梯度下降方法(假定单输出): * 径向基(RBF)神经网络 广义RBF网络的数据中心的监督学习算法: 类似BP算法的梯度下降方法(每个数据修正一次): * 径向基(RBF)神经网络 RBF网络与多层感知器(MLP)的比较: RBF: 1个隐层 MLP: 至少一个