一种新型神经网络结构算法.ppt

一种新型变结构神经网络隐含结点增加算法 第十六组 BP算法的思想 图1 网络的初始结构 X:输入 向量 P：样本总数 i： 为输入层第i个单元， j：为隐含层第j个单元 :为从输入层到隐含层的连接权值矩阵 :从隐含层到输出层的连接权值矩阵 ；k：为输出层第k个单元 ：隐含层第j个单元输出 ：输出层第k个单元输出 E:网络性能评价标准 ：输出层第k个单元期望输出 BP算法训练网络，所有采样输入网络一次称为一个循环。 采用梯度下降法来训练初始网络： BP算法的缺陷 BP网络训练的速度非常慢，对于一个简单的分类问题也要经过千次的循环。原因： 步长 难以确定，理论上说取无穷小的步长来运行网络。实践过程中，希望最大步长训练网络达到最快的学习速度。太长又会引起网络不稳定。这些都是未知的 2 网络内部单元接受的是一个不断变化的网络，这势必使得它们难以决定应该怎样变化才能达到最优结果。 Cascade-Correlation算法核心思想 Cascade-Correlation算法中每一个增加的隐含单元构成一个隐含层,使得每一个隐含单元都具有很强的特征检测功能,增强了网络的运算能力 。 图2 两个候选单元联入网络中同时训练(输入权值) 训练候选单元时采用了候选单元池技术,几个候选单元同时训练最终选择一个最优的加入网络中,由于每一个候选单元的训练只与它的初始权值设定有关,单元之间不会互相影响,因此可以并行训练 这在很大程度上降低了把一个无用的候选单元联入网络的可能性,同时也加快了训练的速度 。 图3 选择一个最优的候选单元加入网络(训练输出权值) 在c-c算法中两个训练阶段 1 输出权值训练阶段，目的在于不断减小网络残余误差，目标函数为： 对于第p个样本： ：候选单元的实际输出； ：候选单元的期望输出。 2 候选单元训练阶段,训练的目的在于最大化每一个候选单元的关联值,目标函数为： 对于第p个样本： :候选单元输出； ：候选单元输出平均值； ：第h个输出单元的误差 ； ：第h个输出单元的误差的平均值 由于上式带有绝对值运算，求导数时有可能使得函数不连续。 对上式做出改变为： 从而避免了间断点的出现,然后再采用梯度下降法来找到与网络残余误差关联最大的候选单元， c-c算法中训练候选单元阶段中,计算权值变化量时，给出 ： 在进行推导时，发现结果并不一致，从而对原式做了改进。 现在让 代替 进行推导： 下面只需要计算 ，为 当输入第p 个样本 时候选单元的第i 个输入，有： 代入上式，得到： 这个式子表面上看与c-c式并不相同，再继续简化： 可见改进式与给定式实际上是一致的，但是改进式 与给定式 的区别在于给定式每一项都减去了一个 的平均值从数值的角度进行分析，改进式使计算数值精确到更高位。例如，假设 ，当用给定式计算由于精度不同，最低有效位可能被去掉。最终得到这两个值为0，这势必 会带来计算的误差并最终影响网络的训练结果。但是如果采用改进式计算，假设 ，会得到 ，这样就保留了所有的精度。 在本算法中一个很大的问题就是网络拓扑结构的变化会引起网络性能的振荡,为了尽量弥补这一缺陷,我们总是把新加入结点的初始权值设为非零的很小的数,这也使得上面对公式的改进很有必要,它能使得计算更加精确,最重要的使网络的稳定性更好 谢谢各位！