第三章 决策树分类算法的应用、进展及发展前景.pptVIP

2003.11.18 机器学习-决策树学习 译者：曾华军等 作者：Mitchell 讲者：陶晓鹏 机器学习 第3章 决策树学习 决策树分类算法的进展 决策树分类算法的发展前景 主要决策树算法 最早的决策树算法是由Hunt等人于1966年提出的CLS 。当前最有影响的决策树算法是Quinlan于1986年提出的ID3和1993年提出的C4.5。 其它早期算法主CART、FACT、CHAID算法 。后期的算法主要有SLIQ、SPRINT 、PUBLIC等。 决策树分类算法的进展 传统的决策树分类算法主要是针对小数据集的，大都要求训练集常驻内存，这使得在处理数据挖掘任务时，传统决策树算法在可伸缩性、精度和效率方面受到了很大的限制。而在实际的数据挖掘应用中我们面临的数据集往往是容量巨大的数据库或者数据仓库，在构造决策树时需要将庞大的数据在主存和缓存中不停的导入导出使得运算效率大大降低。针对以上问题许多学者提出了处理大型数据集的决策树算法。下面我们分三个方面对一些算法的改进进行讨论。 1、数据预处理 数据挖掘处理的是海量数据集不仅样本容量大、含有的属性集大而且数据中往往含有一些与挖掘任务不相关和无意义的部分。在这样的数据集上进行分析会花费很长时间使得挖掘任务不可行。此外决策者有时需要在数据的多个抽象层上进行分析以获得有价值的信息。在这种情况下我们需要先用过滤、概化和归约等方法