数据挖掘3数据分类24课件讲解.pptxVIP

;信息熵;ID3（IterativeDichotomiser3）是机器学习中最为经典的决策树生成算法之一，由J.RossQuinlan在1986年提出。它开创了使用信息增益作为特征选择标准的先河，为后续的C4.5、CART等算法奠定了坚实的基础。

ID3算法的核心思想是“分而治之”。它通过一系列的逻辑判断（即“问题”），将庞大的数据集逐步划分成更小、更纯净的子集。最终的目标是让每个子集中的样本尽可能属于同一个类别。ID3算法的理论来自于克劳德·香农的信息论。要理解ID3是如何选择特征的，必须先理解两个核心概念：信息熵和信息增益。;（1）信息熵的定义

信息熵用来衡量一个系统（或一个数据集