基于粗糙集―遗传算法改进的BP神经网络算法研究.docVIP

基于粗糙集―遗传算法改进的BP神经网络算法研究 　　摘要：目前BP神经网络已经成为应用最为广泛的神经网络模型之一，粗糙集作为一种处理模糊数据的工具，将其应用于BP神经网络，并对输入变量进行属性约简，降低了数据降维数，结合遗传算法对全局搜索，进而优化了BP神经网络的阈值和初始权值。实验结果表明改进后的BP神经网络训练时间短，网络泛化能力得到提高。 　　关键词：粗糙集 遗传算法 BP神经网络 优化 　　中图分类号：TP391 文献标识码：A 文章编号：1007-9416（2015）03-0121-01 　　目前BP神经网络已经成为应用最为广泛的神经网络模型之一，BP神经网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过逆传播来不断调整网络的阈值和权值，使网络的误差平方和最小。BP神经网络可以应用于聚类、分类、预测等。神经网络需要有一定量的历史数据，通过历史数据的训练，网络可以学习到数据中隐含的知识。在具体问题中，要找到某些问题的一些特征，以及对应的评价数据，用这些数据来训练神经网络。 　　1 粗糙集理论优化BP神经网络 　　1.1 粗糙集理论概述 　　S作为一个知识表达系统粗糙集一般形式记为：S=（U，A，V，f），其中：U为论域；A为属性集；V为属性值域；；B为条件属性集合；C为决策属性集合；是一个信息函数。 　　定义1：对于一个知识表达系统S=（U，A，V，f），满足下列两个条件的是条件属性集C的约简： 　　定义2：对于一个知识表达系统S=（U，A，V，f），设，对任意集合，则X关于R的下近似集定义为： 　　上近似集定义为：。 　　定义为X的R粗糙集。上、下近似集是定义在U的幂集上的一对一元算子。集合X关于R的边界区可表述为：。通常能够肯定地将U中的对象划分为X或-X两个不关联的子集，其对象总数等于排除X的R边界的对象数目，即。 　　定义3：令P与Q是U中的等价关系，记为Q的P正域，即 　　Q的P正域是U中所有根据分类U/P的信息可以准确地划分到关系Q的等价类中去的对象集合。令P和Q为等价关系族，R，如果： 　　则称R为P中Q不必要的，即R为P相对于Q可以约简的。P的Q约简简称为相对约简。 　　1.2 RS属性约简算法 　　属性约简是粗糙集理论中的核心知识，也是粗糙集在本文中应用的重要知识。在实际问题中信息是大量的这样就会存在冗余，而且有些信息并不起决定作用，所以要对这些信息进行筛选，删除冗余信息，也就是要进行属性约简。 　　首先根据数据特征确定离散化标准，然后对连续特征进行离散化，建立出决策表。决策系统表示条件属性，D表示决策属性。定义一个的矩阵，其任一元素为： 　　对于满足：，或者： 且或者：。 　　表示区别元素的所有属性的函数，对于每个属性指定Boole变量指定一个Boole函数用来表示；如果，指定Boole常量1，则[1] 　　的极小析取范式中得所有合取式是条件属性集C的所有D约简。每个约简对应一个决策算法，通过比较各决策算法的相容度选定最优约简。 　　2 利用遗传算法优化BP神经网络研究 　　BP神经网络算法缺乏全局性，因为它是一种只考虑局部区域的梯度法，这样就容易陷于局部最优极值。然而遗传算法是一种全局优化方法，它是一种基于生物进化过程的随机搜索的，通过变异操作和交叉很大程度减小了初始状态的对数据的影响，将遗传算法与BP神经网络结合可以扩大神经网络系统搜索解的空间，从而摆脱了算法易陷于局部最优解的弊端，使算法具备了全局最优解的能力。 　　遗传算法优化BP神经网络初始权重和阈值主要包括适应度函数和染色体编码方式的选择，还有一些遗传操作如选择、交叉、变异等。这些在文献[2]中有较详细的说明。下面对基于遗传算法优化神经网络权值的学习过程进行说明： 　　（1）初始化种群P包括交叉规模、交叉概率Pc、突变概率Pm以及权值初始化；（2）计算出每一个个体评价函数，并将其排序。 　　按概率值选择网络个体，（为个体的适应度），适应度可用下面式子衡量，， 　　利用交叉概率Pc对个体和进行交叉操作，产生新个体和； 　　（4）利用变异概率Pm突变产生的新个体；（5）将交叉操作与变异突破产生的新个体插入到种群P中，并计算新个体的评价函数；（6）若找到了最优解或者满意的个体或已经达到最大的迭代次数则算法结束，否则转入第三（3）步进入下一轮迭代运算，周而复始直到得到最优解为止。如达到预先设定的性能指标后，将最终群体中的最优个体解码即可得到优化后的网络连接权值系数。 　　3 基于粗糙集和遗传算法的神经网络模型 　　种群是指一个个体表示BP神经网络的一个初始权重和阈值，所以首先，获得初始种群；接下来利用粗糙集RS