决策树模型概述.pptVIP

ID3算法 ID3(A:条件属性集合，d:决策属性，U:训练集)返回一棵决策树 { if U为空，返回一个值为Failure的单结点；//一般不会出现这种情况，为了程序的健壮性 if U是由其值均为相同决策属性值的记录组成，返回一个带有该值的单结点；//此分支至此结束 if A为空，则返回一个单结点，其值为在U的记录中找出的频率最高的决策属性值；//这时对记录将出现误分类 将A中属性之间具有最大I(d;a)的属性赋给a； 将属性a的值赋给{aj|j=1,2,…,m}； 将分别由对应于a的值的aj的记录组成的U的子集赋值给{uj|j=1,2,…,m}； 返回一棵树，其根标记为a，树枝标记为a1, a2,…, am； 再分别构造以下树：ID3(A-{a},d,u1)，ID3(A-{a},d,u2)，…，ID3(A-{a},d,um)；//递归算法 } 第二十九页，共五十三页。 2003.11.18 * 决策树学习的常见问题 决策树学习的实际问题 确定决策树增长的深度 处理连续值的属性 选择一个适当的属性筛选度量标准 处理属性值不完整的训练数据 处理不同代价的属性 提高计算效率 针对这些问题，ID3被扩展成C4.5 第三十页，共五十三页。 2003.11.18 * 避免过度拟合数据 过度拟合 对于一个假设，当存在其他的假设对训练样例的拟合比它差，但事实上在实例的整个分布上表现得却更好时，