样本先验知识在神经网络训练中的应用.pdfVIP

维普资讯 大 庆 石 油 学 院 学 报 第28卷 第6期 2004年 l2月 JOURNAIOFDAQINGPETROlEUM INSTITUTE V01．28 No．6 Dec． 2004 样本先验知识在神经网络训练中的应用 许少华 ，路 阳 ，席海青。，孙素艳。，李 欣 (1、大庆石油学院 计算机与信息技术学院，黑龙江 大庆 163318； 2．陕西如意电器总公司，陕西 成阳 712099； 3 大庆石油学院 数学系 ．黑龙江 大庆 163318) 摘 要：提出_『一种利用样本先验知识与 BP算法相结合的网络训练新方法．该方法可把样本蕴涵的先验知识转化 成对权值的约束条件，融合到网络的目标 函数中；也可根据样本蕴涵的先验知识构造带参数的隐层神经元激励 函数 ·应 用 BP算法调节激励函数的参数和权值，完成对网络的训l练．与普通 BP算法相比．该方法可提高网络规模 、收敛速度 、推 广能力等．仿真实验证 明了该方法的有效性． 关 键 词：神经网络；先验知识；学习算法；激励函数 中图分类号：TP183 文献标识码：A 文章编号：1000—1891(2004)06—0066—04 多层前馈神经网络具有广泛的应用领域．目前，该网络存在推广能力差及网络结构简化的问题 ，这已 影响该网络的应用效果，并制约着其应用领域 的拓宽口]．从机理出发，研究对象往往具有一些特殊的性 质 ．如单调性 、凸性等，常称为先验知识．Gallant和 White已证明，若训练样本集可任意大，则训练所得的 网络可以任意精度逼近任何分段可微的连续函数 ]．但实际采集的样本数据总是有限的，带有噪声，由此 训练得到的网络难 以准确地体现原模型，甚至出现违反先验知识的情况，影响网络模型的实用性能．为 此 ，JoerdingW H和 MichaelLTE等提出将先验知识与神经网络相结合的建模方法，利用样本数据训练 网络，同时体现相应的先验知识．在设计网络时引入先验知识可简化网络结构 一，但如何把先验知识引入 网络设计还没有得到解决．Stork等曾利用先验知识来选择神经元激活函数简化网络ft．因此 ，有必要研 究利用样本蕴涵的先验知识构造网络的训练方法． 1 利用先验知识构造网络约束条件 1．1 BP网络模型及学习算法 传统 BP网络结构 由输入层、隐含层和输 出层 输入层 隐含层 输出层 组成，见图 1．设w 为任意多层BP网络的连接权值 (包括 阈值)，即W 一 (Wj，叫2，…，W )，g()一 尼 1／(1+e…)为非线性传递 函数．(x，Y)为样本 空 间，x为样本输入 ，y为样本输 出 (期望输 出)．误差 函数定义为 ／5, 1 E一÷ lly 一yll， (1) 图1 3层 BP网络模 型 式中：!l·ll为某一范数；y 为神经网络的实际输出．当样本空间确定以后，E只是权值 向量w 的函数， 故式 (1)可改写为E—E(w)．通常，训练多层神经网络的BP算法标准形式为 W抖 一 W 一 h E(W ) ， (2) 妓稿 日期 ：2004—06—02；审稿人：袁 满；编辑：陆雅玲 珏金项 目：国家 自然科学基金资助项 目 作者简介：许少华 (1962一)，男，博士，教授，主要从事人工智能、图像处理及模式识别方面的研究 ·66 · 维普资讯 第 6期 许少华等 ：样本先验知识在神经 网络iJiI练中的应用 式中：w。一wl1．为学习步长，f．Io；VE(W)一( ， ·…