数据挖掘-决策树..docxVIP

数据挖掘论文——决策树什么是决策树决策树(Decision Tree）是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。决策树图示实例描述女儿：多大年纪了？? ? ?母亲：26。? ? 女儿：长的帅不帅？? ? 母亲：挺帅的。? ? 女儿：收入高不？? ? 母亲：不算很高，中等情况。? ? 女儿：是公务员不？? ? 母亲：是，在税务局上班呢。? ? 女儿：那好，我去见见。这个女孩的决策过程就是典型的分类树决策。相当于通过年龄、长相、收入和是否公务员对将男人分为两个类别：见和不见。假设这个女孩对男人的要求是：30岁以下、长相中等以上并且是高收入者或中等以上收入的公务员，那么这个可以用下图表示女孩的决策逻辑：决策树的组成□——决策点，是对几种可能方案的选择，即最后选择的最佳方案。如果决策属于多级决策，则决策树的中间可以有多个决策点，以决策树根部的决策点为最终决策方案。[1]?○——状态节点，代表备选方案的经济效果（期望值），通过各状态节点的经济效果的对比，按照一定的决策标准就可以选出最佳方案。由状态节点引出的分支称为概率枝，概率枝的数目表示可能出现的自然状态数目每个分枝上要注明该状态出现的概率。[1]?——结果节点，将每个方案在各种自然状态下取得的损益值标注于结果节点的右端决策树的构建不同于贝叶斯算法，决策树的构造过程不依赖领域知识，它使用属性选择度量来选择将元组最好地划分成不同的类的属性。所谓决策树的构造就是进行属性选择度量确定各个特征属性之间的拓扑结构。构造决策树的关键步骤是分裂属性。所谓分裂属性就是在某个节点处按照某一特征属性的不同划分构造不同的分支，其目标是让各个分裂子集尽可能地“纯”。尽可能“纯”就是尽量让一个分裂子集中待分类项属于同一类别。分裂属性分为三种不同的情况：属性是离散值且不要求生成二叉决策树。此时用属性的每一个划分作为一个分支。属性是离散值且要求生成二叉决策树。此时使用属性划分的一个子集进行测试，按照“属于此子集”和“不属于此子集”分成两个分支。属性是连续值。此时确定一个值作为分裂点split_point，按照split_point和=split_point生成两个分支。量化纯度算法选择构造决策树的关键性内容是进行属性选择度量，属性选择度量是一种选择分裂准则，是将给定的类标记的训练集合的数据划分D“最好”地分成个体类的启发式方法，它决定了拓扑结构及分裂点split_point的选择。我们采用熵公式来进行纯度选择计算公式及算法描述熵（entropy）:刻画了任意样例集的纯度（purity）。熵确定了要编码集合S中任意成员（即以均匀的概率随机抽出的一个成员）的分类所需要的最小二进制位数。如果目标属性具有c个不同的值，那么S相对c个状态（c-wise）的分类的熵定义为：Pi是S中属于类别i的比例。信息增益（information gain）：一个属性的信息增益就是由于使用这个属性分割样例而导致的期望熵降低。Values(A)是属性A所有可能值的集合，Sv 是S中属性A的值为v的子集。例如，假定S包含14个样例-[9+,5-]。在这14个样例中，假定正例中的6个和反例中的2个有Wind=Weak，其他的有Wind=Strong。由于按照属性Wind分类14个样例得到的信息增益可以计算如下。Values(Wind)=Weak,StrongS=[9+,5-]SWeak←[6+,2-]Sstrong←[3+,3-]=Entropy(S)-(8/14)Entropy(SWeak)-(6/14)Entropy(Sstrong)=0.940-(8/14)0.811-(6/14)1.00=0.048停止条件决策树的构建过程是一个递归的过程，所以需要确定停止条件，否则过程将不会结束。一种最直观的方式是当每个子节点只有一种类型的记录时停止，但是这样往往会使得树的节点过多，导致过拟合问题（Overfitting）。另一种可行的方法是当前节点中的记录数低于一个最小的阀值，那么就停止分割，将max(P(i))对应的分类作为当前叶节点的分类。过渡拟合采用上面算法生成的决策树在事件中往往会导致过滤拟合。也就是该决策树对训练数据可以得到很低的错误率，但是运用到测试数据上却得到非常高的错误率。过渡拟合的原因有以下几点：噪音数据：训练数据中存在噪音数据，决策树的某些节点有噪音数据作为分割标准，导致决策树无法代表真实数据。缺少代表性数据：训练数据没有包含所有具有代表性的数据，导致某一类数据无法很好的匹配，这一点可以通过观察混淆矩阵（Confusion Matrix）分析得出。多重比较（Mul