201X年决策树培训讲义.pptVIP

决策树(Decision Tree);1、分类的意义;数据库;;3、分类的程序;决策树分类的步骤;例：;4、分类算法的评估;;决策树归纳的基本算法是贪心算法，它以自顶向下递归各个击破的方式构造决策树。 贪心算法：在每一步选择中都采取在当前状态下最好/优的选择。 在其生成过程中，分割方法即属性选择度量是关键。通过属性选择度量，选择出最好的将样本分类的属性。 根据分割方法的不同，决策树可以分为两类：基于信息论的方法（较有代表性的是ID3、C4.5算法等）和最小GINI指标方法（常用的有CART、SLIQ及SPRINT算法等）。;（一）决策树的结构;（二）决策树的形成;例：;（三）ID3算法(C4.5,C5.0);;信息增益;Example(Gain);Example(续);Example(end)ID3算法;（四）Decision Tree的建立过程;2、决策树的剪枝(pruning);（1）先剪枝方法;（2）后剪枝方法;应用案例：在农业中的应用;第一步：属性离散化;第二步：概化（泛化）;第三步：计算各属性的期望信息;计算各属性的信息增益;第四步：决策树;案例2：银行违约率;;案例3 对电信客户的流失率分析;案例4：在银行中的应用;案例5：个人信用评级;（五）其他算法;1、C4.5与C5.0算法;2、Gini Index算法;集合T包含N个类别的记录，那么其Gini指标就是