6数据挖掘基本算法解读.ppt

（2） 后剪枝 常见的后剪枝算法有6种，分别是PEP（Pessimistic Error Pruning,悲观错误剪枝），MEP（Minimum Error Pruning,最小错误剪枝），CCP（Cost-Complexity Pruning,代价-复杂度剪枝），EBP（Error-Based Pruning,基于错误剪枝），CVP （Critical Value Pruning,临界值剪枝）和REP （Reduced Error Pruning,消除误差剪枝） 。 6.1.2.4 由决策树提取分类规则 从决策树抽取分类规则是指提取判定树表示的知识，并以IF-THEN形式的分类规则表示。 可以对从根到树叶的每条路径创建一个规则。沿着给定路径上的每个属性-值对形成规则前件（“IF”的部分）的一个合取项。叶节点包含类预测，形成规则后件（“THEN”部分）。 IF-THEN规则易于理解，特别是当给定的树很大时。 6.1.2.4 由决策树提取分类规则 fair excellent yes no ＞40 31…40 ＜＝30 Age? Student? Credit_rating yes no yes no yes 6.1.2.4 由决策树提取分类规则 例：由判定树产生分类规则。沿着由根节点到树叶节点的路径，判定树可以转换成IF-THEN分类规则。 IF age=”=30” and student=”no” THEN buys_computer=”no” IF age=”=30” and student=”yes” THEN buys_computer=”yes” IF age=”31…40” THEN buys_computer=”yes” IF age=”40” and credit_rating=”excellent” THEN buys_computer=”no” IF age=”40” and credit_rating=”fair” THEN buys_computer=”yes” 6.1.2.5 决策树方法在数据挖掘中的应用 （1）Knowledge SEEKER简介 （2）数据准备 （3）定义研究对象 （4）建立模型 （5）理解模型 （6）预测 （1）KnowledgeSEEKER简介 KnowledgeSEEKER是一个由Angoss公司开发的基于决策树的数据分析程序。该程序具有相当完整的分类树分析功能。 KnowledgeSEEKER采用了两种著名的决策树分析算法：CHAID和CART算法。CHAID算法可以用来对于分类性数据进行挖掘。CART算法则可以对连续型因变量进行处理。Angoss公司在增强这些算法的用户友好性方面作了大量的工作。 优点：响应快，模型，文档易于理解，决策树分析直观，性能良好 缺点：决策树不能编辑打印，缺乏数据预处理阶段的函数，没有示例代码 （1）KnowledgeSEEKER简介 应用行业案例： Frost National银行CRM收益率、客户满意度、产品功效 SASI公司利用其开发行业数据挖掘应用软件（零售行业） Montreal银行客户分片、越区销售模型、市场站的准备、抵押支付的预测、信用风险的分析 （2）数据准备 使用的样例数据集是从一个团体健康检查中有关高血压的研究项目中得到的。Angoss公司已将这一数据集包括在产品演示中。 有关高血压研究方面的数据（表中给出数据集中各个数据列的取值范围及其含义说明） （2）数据准备 数据预处理： 1）对数据域中所含的整数值进行标注： Hypertension（高血压）域中可以出现整数值1，2，3，这几个值将分别被标注为低，正常，高。 TypeOfMilk域中包含整数值1~5，将分别标注为纯牛奶、2%，脱脂牛奶，奶粉及根本不喝牛奶 2）处理导出型的数据域 字段Age中包含的值1，2，3分别表示32~50岁、51~62岁及63~73岁。然而，字段Age中通常包含的都是某个人的实际年龄而非整数值1，2，3，因此，字段Age中的值是在数据挖掘开始之前就已经导出了，即按照实际年龄的范围32~50岁、51~62岁及63~73岁对该字段选择适当的值。 （3）定义研究对象 1）定义挖掘目标 在开始使用KnowledgeSEEKER之前，有必要定义出挖掘的目标。 在给定的数据集的例子中展示了哪些饮食因素会对人的血压高低有关键性的影响。 其挖掘的目标可以明确地描述为： 分析出饮食因素对血压偏低、正常及偏高所产生的影响。 （3）定义研究对象 2）启动 （3）定义研究对象 3）设置因变量 一开始，字段Hypertension就已经被自动设置为因变量。 稍后，还将改变因变量的设置。 打开bpress数据集