基于正则化网络2遗传算法的属性筛选及其在化学模式识别中的应用.pdfVIP

( ) 第 31 卷 分析化学 FENXI HUAXUE 　研究报告 第 10 期 　　　　　 　　 　 　　 　　　　　　　 　 　 　 2003 年 10 月 Chinese Journal of Analytical Chemistry 1169～1172 基于正则化网络遗传算法的属性筛选及其 在化学模式识别中的应用 1 2 1 1 束志恒 　方　士 　陈德钊 　陈亚秋 ( ) 2 ( ) 浙江大学化学工程系仿真中心 ,杭州 310027 　　 浙江大学环境工程系 ,杭州 310029 摘 　要 　采用贝叶斯正则化方法训练 , 以得到推广性优良的神经网络,并提出启发性的遗传算法。通过灵敏 度分析对正则化网络实施剪枝 ,从而在高维模式中筛选出能代表其分类特性的最小最优属性特征子集。此方 法应用于高维留兰香模式的属性筛选与模式分类 ,效果良好 ,明显优于其它方法。 关键词 　贝叶斯正则化 , 神经网络剪枝 , 属性筛选 , 遗传算法 1 　引　　言 对于化学化工模式识别和函数回归问题 ,常因对物质属性和反应机理认识不足而尽可能收集更多 的属性 ,也由于现代分析检测技术的提高 ,使之成为可能。由此构成了高维模式 ,而增加求解的代价 ,当 各属性间存在交互作用和相关性时 ,还会导致“病态”问题 ,严重影响所建模型的推广性能1 。为此可筛 选属性以降维 ,这对数据挖掘问题很有意义。 应用逐步判别或逐步回归等统计方法筛选属性时 ,均需一个统计量作为选择判据 ,要求数据具有相 应的统计性质。然而实际问题往往是复杂的、非线性的 ,不一定能满足该要求。作为计算智能方法 ,神 经网络也常用于模式识别或回归建模 ,它无需任何先验知识 ,对样本数据也没有特定要求。对网络输入 1 ( ) 单元进行剪枝 ,即可筛选输入属性 。本文拟用贝叶斯 Bayes 正则化辅助训练网络 ,使之具有良好的 ( ) 推广能力 , 以有利于剪枝。进而采用遗传算法 GA ,一次性地从中挑选最小最优子集 ,并将此方法应用 于高维留兰香模式的属性筛选与分类 ,效果良好。 2 　贝叶斯正则化与网络训练 基于有限个样本数据的网络训练是一个不适定( ) ( illposed 问题,亦即能满足目标 例如 :输出偏差足 ) 够小 的网络有许多个。要找到一个适用的解 ,可采用正则化方法 ,即在样本数据外 ,再按需要设置一定 的约束 , 以正则项的形式加入目标函数。由此训练的网络称为正则化网络, 目标函数中未加正则项的,