决策树算法中多值偏向问题的理论分析研究.pdfVIP

2005年全国自动化新技术学术交流会会议论文集 决策树算法中多值偏向问题的理论分析 韩松来，张辉，周华平 007 (国防科学技术大学机电工程与自动化学院，湖南长沙413) 摘要：多值偏向是决策树算法中普遍存在的问题，以往人们对于多值偏向问题的分析主要是基于实验 观测的。该文针对决策树算法中的多值偏向问题提出了一种理论分析方法，并使用该方法分析了四种 常用的决策树算法一ID3算法、Gini指数算法、z2统计算法和Relief算法。理论分析的结果跟实 验观测的结果相一致，证明了这种分析方法的有效性。 关键词：决策树；多值偏向；ID3；Gini指数；z2统计；Relief 中图分类号：TPl8 文献标识码：A 1 介绍 ．决策树算法是机器学习领域的一种重要方法，主要用于数据的分类和预测。1986年， J．R．Qunlan在研究决策树的ID3算法11J时，发现了多值偏向问题。所谓多值偏向是指决策树算法 在选择拆分属性时，倾向于优先选取取值个数较多的属性。多值偏向