基于正域的决策树构造方法.pdfVIP

第28卷第5期 河池学院学报 Vo1．28No．5 2008年 10月 JOURNALOFHECHIUNIVERSITY 0ct．2008 基于正域的决策树构造方法 邓春燕 ，吕跃进 (1．广西大学 数学与信息科学管理学院，广西 南宁 530004； 2．河池学院 计算机与信息科学系，广西 宜州 546300) [摘 要] 决策树是数据挖掘中的一种重要分类方法。在此以粗糙集理论中的正域为启发式函数，设计了一 种新的、有效的决策树构造方法。该算法具有较大的灵活性，能从测试属性空间逐次删除已使用过的属性。避免 对这些属性进行重复测试，减少测试空间，降低了树的复杂性，从而提高了分类效率。最后，实例验证 了算法的可 行性与有效性。 [关键词] 决策树；决策表；粗糙集；正域 [中图分类号] TP311．12 [文献标识码] A [文章编号] 1672—9021(2008)05—0071—04 [作者简介] 邓春燕(1971一)，女(壮族)，广西宜州人，广西大学数信院硕士研究生，河池学院计信系讲师， 主要研究方向为数据挖掘、粗糙集理论与方法；吕跃进 (1958一)，男，广东梅州人．，广西大学数信院教授，硕士生导 师，主要研究方向为数据挖掘、粗糙集与概念格、运筹与控制。 O 引言 分类是数据挖掘中的一个重要问题。分类的目的是提出一个分类函数或分类模型(即分类器)，通过分 类器将数据映射到某一特定的类别中。在商业、医学诊断、天气预报等领域中有着广泛的应用前景。近年 来，国内外的许多学者和研究人员在分类知识发现领域中进行了大量的研究和实际应用的推广。引起了工 业界和学术界的广泛关注。 常用分类的方法有：贝叶斯方法、决策树方法、神经网络方法、支持向量机方法等。其中决策树是最直观 的。因其形状像树且能用于决策而得名。在决策树中，从根结点到叶子结点的一条路径形成一个分类规则。 因而决策树很容易转化为分类规则。决策树的构建是一种 自上而下、分而治的归纳学习过程。其中测试属 性的选择和如何划分是建树的关键。目前最经典的建树方法有 ID3_1]、C4．5l2方法。这两种方法都是基于 信息熵原理，它们都存在一些不足之处。如：形成单变量决策树且分枝较多、规模大，因此降低了分类的效率 和效果。后来有不少学者针对这些缺陷提出了一些优化决策树的方法。如：基于遗传算法的决策树模 型 、基于粗糙集的多变量决策树构造方法 】、基于ID3算法的决策树优化方法 等。 粗糙集理论是波兰数学家Z．Pawlk 于 1982年提出的一种新的数学理论。它主要用于处理不确定和 不精确的信息。该理论已广泛用于信息处理、机器学习、数据挖掘等领域。 本文是以粗糙集理论的正域作为启发式函数。正域能客观地反映条件属性对决策表的决策能力。其性 质与属性问的互信息有着一定的等价关系。因此正域与信息熵有着一定的等价关系。本文所提出的 POSRE算法可以避免ID3算法中子树重复和某些属性被多次选择的缺点。实例表明：基于正域的决策树构 造方法 (POSRE算法)弥补了ID3算法的一些不足。 1 预备知识 1．1 粗糙集理论基本知识 · 设四元组S=(，A， )是一个决策表，其中U={，：，…， }为有限论域；A=CUD，CnD= ，C= {c，，c。，…，c，}为条件属性集；D={d，d2，…，d}为决策属性集，V=U (a∈A)，vo为属性a的值域；f：U× 71 4一 是一个信息函数，即：Va∈A，∈U，有 ，a)∈vo；对于VPCA，P≠ ，P决定了论域 上一个不可区 分关系Ind(P)，lnd(P)={(，Y)∈UXUI ，a)=／(Y，a)，Va∈P}，关系Ind(P)可确定 的一个划分， 用U／Ind(P)表示，简记为U／P： 设X_CU，P C，X的P下近似集表示为：P =U{[] I[]。 }， 的P上近