机器学习方法与实践 课件 C4.5.pptx

决策树：C4.5算法DecisionTrees:C4.5主讲：耿阳李敖计算机与信息技术学院视觉智能实验室（VisInt）BeijingJiaotongUniversity

复习：分类决策树描述对实例进行分类的树形结构。根据不同属性的取值对实例进行分类；建树流程：

复习：熵与信息增益??

复习：ID3算法使用信息增益进行特征选择。?

引入：ID3算法的问题若把“编号”（如1~17）也作为一个候选划分属性，则其信息增益一般远大于其他属性。显然，这样的决策树不具有泛化能力，无法对新样本进行有效预测。直观理解：熵度量了一种不确定性；对于可能取值数目较多的属性，选择其作为划分属性，其能够更多的减少