利用光滑权值与复合网络提高前向网络的推广性能.pdfVIP

信号处理 利用光滑权值和复合网络提高前向网络的推广性能 孙晓艳张宝嵩马远良李飒’ (西北工业大学声学工程研究所．西安，710072) (’航天工业总公司三院8357研究所。天津．300141) [摘要】推广性能是人工神经网络研究的前沿课题之一．具有重要的理论意义和应用价值．本文在介绍 一种权值光滑BP算法和特殊的复台神经同络模型的基础上，提出了一种具有光滑权值的复合同络方法，用来 提高前向网络的推广性能．仿真结果验证了该方法的有效性． 关健词： 神经网络 推广性能 光滑权值 复合同络 一、引 言 推广性能是人工神经网络研究的前沿方向之一，具有重要的理论意义并直接髟响到网络的应用价值．利 用一些有效手段努力提高网络的推广性能是该课最研究的主要内容。由于同络的复杂性，使之成为一个比较甩 难的问题。通常，人们采用两种方法来提高冈络的推广性能；1)改进学习算法{l】：2)修改同络结构12】【3】． 其叶1，学习算法的改进又可以分为梯度下降算法的改进、权值迭代算法的改进和系统误差函数的改进等等． 在权值迭代算法的改进巾，权值光滑BP算法不仅有效．而且还具有较可靠的理论依据．而罔络结构的修改则 包括修剪方法、权衰减方法和复合网络方法．其中．复合网络方法是比较简单有效的一种方法。 小文作者在仔细研究权值光滑即算法和复合网络方法的基础上，提出了一种子同具有光滑权值的复合神 经喇络模型，用来提高前向同络用于目标分类的推广性能．仿真结果令人满意． 二、学习算法 近年来．通过利用先验信息约束性能表面或连接权值的方法来改瞢同络的推广性能，己成为一种重要的 方法．在伞连接人工神经网络中，大量的连接权值蕴吉了样本数据的各种信息．每个隐层神经元通过其相应 的连接权向量对样木特征进行提取，而所有权向量的累积效果则定义了该样本数据的特征．同络训练的过程 就是在权审问中寻找一个使得目标函数值达到最小的解的过程．因此．解与连接权值有关． 对于一般的实际分类问题，所能提供的训练样本数据非常有限．而用于分类的罔络规模又比较大，这就 使得对于同一个目标函数值，可以存在较多的近似解．在这些解中。比较稳定的解应该是更符合实际从而具 有更好的推广性能的解。而这样的解对应于比较光滑的连接权值．JackS．N．Jean等人¨’提出的具有光滑权 值的BP算法(记作船尸)，使得在权空问中寻找这样的稳定解成为可能． 下血．我们以两层前向同络的隐层神经元为例，说明权值光滑髓算法． 设E为标准的均方误差函数，，和日分别表示输入层和隐层的神经元个数，∥。表示隐层的第，个神 经元与输入层的第i个神经元之间的连接权值．则新的隐层误差函数为 HI ． ￡一=Es+f∑∑【％一％㈣】‘ (1) J=l／=2 其中，{为常数。 权值光滑BP算法的基本步舅为： a) △辟宁(f+I)=VAWjAO+融W；．(f+I) 、2) b) r(O=1一(1-，o)e一∥7 (3) c) (4) 信号处理 其中叶为惯性系数．占为学爿率，f为迭代次数，△∥；O+1)=一÷=L．，o(1)和T为常数，并规定 ‘Ow” 改公式。 显然，权值光滑BP算法(SBP)实际上是通过对每个权值矿“及其相邻的两个权值做加权平均而使权值 逐渐光滑，且这种局部平滑作用将随着f的改变而传遍整个权向量(矿f1矿腔…，∥，，)．