决策树方法.pptxVIP

决策树方法教学内容决策树方法一、决策树方法概述? 二、ID3 方法 ?三、C4.5 方法 ?四、C5.0 方法实践 ?五、CART -分类与回归树方法?六、CART 方法实践 ?七、决策树算法的最新进展 ?一、决策树方法概述㈠ 决策树概念 ?㈡ 信息论原理 ?1. 概述2. 信道模型3. 信息熵4. 互信息5. 信道容量6. 类别译码准则㈠ 决策树概念决策树是用样本的属性作为结点，用属性的取值作为分支的树结构。它是利用信息论原理对大量样本的属性进行分析和归纳而产生的。决策树的根结点是所有样本中信息量最大的属性。树的中间结点是以该结点为根的子树所包含的样本子集中信息量最大的属性。决策树的叶结点是样本的类别值。头发红黑金第一类人第二类人眼睛蓝黑灰第一类人第一类人第二类人一、决策树方法概述决策树用于对新样本的分类，即通过决策树对新样本属性值的测试，从树的根结点开始，按照样本属性的取值，逐渐沿着决策村向下，直到树的叶结点，该叶结点表示的类别就是新样本的类别。决策树方法是数据挖掘中非常有效分类方法。决策树是一种知识表示形式，它是对所有样本数据的高度概括，即决策树能准确地识别所有样本的类别，也能有效地识别新样本的类别。决策树概念最早是出现在CLS (Concept Learning System) 中, 影响最大的是 J.R.Quinlan 于 1986 年提出的 ID3 方法，他