决策树ID3算法的改进的研究.pdf

致 谢 两年半的硕士研究生生活即将走完，将要离开母校，我非常感谢所有关心和支持我的 人！ 经过两年半的学习和锻炼，不仅我的学术水平得到了提高，我也养成了独立思考的习 惯，和独立的人格。我自身综合素质的提高离不开我的导师柴瑞敏副教授的悉心关怀和指 导。柴老师挚诚的待人之道，严谨的治学态度，独到的科学见解都对我影响颇深。本文从 选题到创作的每一个细节都离不开柴老师的辛勤帮助。在这里向她表达我真诚的谢意！ 非常感谢院里各位领导、老师为我能够顺利毕业所付出的辛苦劳动。在这里要特别感 谢关昕和张永库两位副教授一直以来对我的学习、工作方面给予的关心和支持。 我也要感谢在我的求学路上一直陪伴我，鼓励我的家人，是他们给了我不断锐意进取 的信心。 感谢我的室友贾珍、李翠翠和赵璐及其他关心我的好朋友，有了你们我的生活才会缤 纷多彩！感谢在创作的过程中一直陪伴着我，给予我支持和鼓励的男友姜建伟。 最后感谢各位引文的作者，是你们的肩膀让我看得更远，是你们的思想开启了我的智 慧之门，有了你们的工作，本文的创作才得以更加顺利的开展！ 摘 要 数据挖掘在众多领域中都发挥着不可替代的作用，一直是各国学者研究的热点。分类 ID 3 ID 3 是数据挖掘的一种重要的手段。 算法是提出最早，最经典的一种决策树分类方法。 在选择分类属性时，依赖于信息熵的计算。因此，经过ID 3 算法分类后，取值较多的属性 将会被选为决策树的分类节点。很多时候，这种分类情况是不符合实际的。另外，ID 3 算 法的计算过程含有过多的对数计算，比较复杂，而且不能够处理具有多种类别属性值的数 据集。针对ID 3 的这三种不足，本文对 ID3 进行了改进，首次提出了一种新的选择分类属 性选择方法，基于麦克劳林—优先选取值的 ID3 算法（ID 3 based on Maclaurin and Priority ，MPID3 ）。本文利用换底公式log γ lnγ / ln 2 和等价无穷小代换ln(1+x ) ≈x 将 2 ID 3 算法中的对数计算进行了简化。由于简化过程会引起误差，本文通过选取合适的常数ζ 和简化后的ID 3 算法计算公式相乘来补偿误差。针对ID 3 算法的取值偏向问题 ，本文引入 了“分类属性优先选取值”进行了改进。本文对MPID3 的性能给出了严格的理论证明。最 后，通过实验证明了MPID3 比经典的ID 3 计算方法及现有的两种计算方法在计算时间和分 类精确度方面具有优势。另外，针对样本集中某一确定属性值的记录集合为空的情况，本 文给出了自己的修改方案。 关键词：数据挖掘；分类算法；ID3 ；MPID3 - I - Abstract With the development of our society, Data Mining is playing more and more important role in many fields. It is attracting more and more people’s attention. Classification is an important way for Data Mining. The ID 3 algorithm is the most classical and oldest classification method based on Decision Tree. The attribution having more values will be selected as the node of Decision Tree according to I