基于决策树验证属性约简方法.docVIP

基于决策树验证属性约简方法 　　摘要：属性约简能够有效地减少冗余，同时，通过约简去除对预测结果贡献极小的属性能够有效地提高分类精度。提出了一种属性约简方法，该方法在分类前对现有的属性进行编码、融合，再通过设置阈值筛选融合后的属性，从而减少低价值属性的数量，最后利用ID3、C4.5算法对比和测试，结果证明提出的方法从根本上优化了数据，提高了分类精度。 　　关键词：属性约简；编码；融合；ID3算法；C4.5算法 　　中图分类号：TP181 文献标识码：A 文章编号：1009-3044（2018）02-0238-02 　　Attribute Reduction Method Based on Decision Tree Validation 　　CAI Yang，FU Xiao-bin 　　（Southwest Petroleum University， School of Computer Science， Chengdu 610500， China） 　　Abstract：Attribute reduction can effectively reduce the number of redundant data， by reducing the contribution of the prediction results to a minimum， this can effectively improve the classification accuracy. In this paper， a method of attribute reduction is proposed， which encodes and merges the existing attributes before classification， and then filters the merged attributes by setting thresholds to reduce the number of low-value attributes. Finally， using ID3， C4.5 Algorithm test results show that the proposed method fundamentally optimized the data， improve the classification accuracy. 　　Key words： Attribute reduction； Coding；Fusion；ID3 Algorithm； C4.5 Algorithm 　　当代社会处于信息爆炸时代，大量的数据每天冲击着人们的生活。在生活中的每一件事，都包含有多样的属性，在繁多的属性中怎么去选择对人们最有利的属性，并且通过这些属性使人们对某一事件做出更好的决策方案或做出更为精准的预测，意义明显。 　　1 属性约简方案 　　常见的属性约简方法计算复杂，公式繁多，虽然约简效果较为优秀，但不易理解及使用。本文提出的属性约简方法是通过属性之间的融合筛减从而进行约简，该方法的基本过程如下： 　　有属性a0 ～ a9 　　1） 对属性，属性值进行编码； 　　2） 属性a0，和属性是a1进行融合，得到融合后的新属性； 　　3） 通过阈值删除部分融合后的属性； 　　4） 调用ID3算法做多次测试，选择分类精度最好的阈值； 　　假设表1中{A0，A1，A2，A3}是一个简单的数据集，对属性编码为{A0（00），A1（01），A2（02），A3（03）}，表中即为属性之间融合的编码[1，2，3，9]。 　　为更好的解释属性融合，则假设有两组属性，身高和体重。身高有高（H）、中等（N）、矮（S），体重有重（F）、正常（N）、瘦（T）。要身高体重属性进行融合、约简则如图1： 　　融合后的属性将置于所有属性的最后，不再进行二次融合。 　　2 实验 　　实验中涉及的数据集，为标准UCI数据集。多组数据集进行测试，每组数据集中进行多次的属性融合，不同的阈值产生不同的结果，使用ID3算法对不同阈值下产生的结果做分类测试，并从中选取最优结果[4，5，7，8，10，11]。 　　以下的实验都是多次实验取平均值得出的结果，在测试时训练集，测试集所占的比例设置为70%和30%，实验结果均保留小数点后三位。实验中阈值的设置不宜过大，设置过大则会将多数的融合数据删除，许多重要的融合属性值将会被筛除，这样操作将会直接导致精度降低。因此，在设置阈值时将会选择0.5以下的数值进行测试，所选取的阈值为{0.1 ， 0.2 ， 0.3 ， 0.4， 0.5}。 　　由图2表易得，当阈值设置在0.3时zoo数据集可以获得相对最优