集成粗集神经网络数据挖掘的研究.pdfVIP

集成粗集神经网络的数据挖掘研究 韦 伟 安庆师范学院教育学院，（246011） Email: weiab474@ 摘 要：集成粗集理论和神经网络技术进行数据挖掘是当前研究的一个重要分支。其集成方 式主要有4 种：利用约简减少网络输入节点、利用约简规则集构建网络、利用上下近似构建 粗神经元以及利用约简简化网络隐层节点。论文分析了各自原理和优缺点，并指出进一步研 究应注意的问题。 关键字：粗集 神经网络 集成 数据挖掘 1.引言 随着信息技术的快速发展，人们面对的数据越来越多。如何从大规模海量数据中提取隐 含的、未知的、非平凡的及有潜在应用价值的信息或模式[1] ，日益成为人们关心的问题，而 这也正是数据挖掘 （DM ）研究的主要目的。粗集理论和神经网络技术是目前DM 研究热点 之一，涉及市场分析、金融投资、医疗卫生、图像处理、质量管理、工业控制、故障诊断等 多个领域[2] 。粗集理论直接模拟人类抽象逻辑思维能力，利用不可分辨关系、上下近似、约 简等概念进行数据约简、发现数据模式和提取规则，但其只能进行定性分析，且抗噪声性能 差，推广能力弱，因此常常与其它软计算方法结合使用。神经网络是对人类直观形象思维的 模拟。通过定量信息的处理学习获得相关领域的知识，具有较强的鲁棒性和容错能力。所以， 粗集理论和神经网络有很大的互补性，可以将二者结合起来构建粗神经网络进行数据挖掘。 目前的方式主要有4 种：利用约简减少网络输入节点、利用约简规则集构建网络、利用上下 近似构建粗神经元以及利用约简简化网络隐含层节点。 2.集成粗集神经网络的数据挖掘 2.1 利用约简减少网络输入节点 这是最常见的结合方式，主要是利用粗集理论预处理神经网络训练集，对训练集进行属 性约简，去除冗余信息，以简化输入信息的表达空间，从而减小网络训练时间，提高容错和 抗干扰的能力[3-11]。文献4 显示应用这种模型，使训练速度提高了4.72 倍，而网络分类误差 ———————————————— 本课题得到安徽省高等学校青年教师科研资助计划（2005jq1118 ）资助 1 增加不到 11.06% 。文献5 利用约简剔除小波分析提取的冗余特征，从而确定神经网络的初 始拓扑结构，实验结果表明该方法对车轮踏面擦伤有良好的预示诊断性能。 单个最小约简只能从某个侧面反映所分析的样本集，无法完全覆盖整个必需的属性集。 文献6 以最小约简的并集作为网络的输入，同时将核属性与对应输出节点直接连接。如在三 层BP 网络中，x ，…，x 为输入节点，h ，…，h 为隐含层节点，y ，…，y 为输出 1 k 1 m 1 n { } 节点。对决策属性y 核为 x ,x ，则其可直接连接形成完整的神经网络 （如图1）。实验表 1 1 2 明这种优化的神经网络比未经优化的神经网络模型学习效率高。问题在于最小约简的并集可 能又是整个属性集；核属性与输出节点直连使得网络复杂化。 图1 利用属性约简的粗神经网络模型图 图2 利用规则集构建神经网络 2.2 利用规则集构建神经网络 根据粗集分析决策表的初始规则集可以确定神经网络的结构[12-16] ，一般采用三层网络 （如图2 ）。网络中，输入节点是条件属性集合，隐含层每个节点代表一条规则，即由粗集 理论得到的最小规则数为m ，则隐含层节点数为m 。隐层每个节点与输入节点的连接表示 规则前件。规则是不完全的，相应的神经网络是权值不完全连接的网络。所以网络结构相对 简单，训练速度快。隐含层节点与输出节点的连接表示规则的后件。隐含层节点实现对输入 值的极小化运算，得出输入层的向量X 与规则的相容度，输出值为： α