决策树和决策规则参考资料.pptVIP

决策树和决策规则 第 7 章 1 本章目标 ? 分析解决分类问题的基于逻辑的方法的特性 ? 信息论基础 ? ID3 算法 ? 了解何时以及怎样用修剪方法降低决策树和复杂度 ? 总结用决策树和决策规则表示一个分类模型的局限性 2 ? 什么是分类？ ? 数据分类（ data classfication ）是数据挖掘的主要内容之一，主要是通过 分析训练数据样本，产生关于类别的精确描述。这种类别通常由分类规 则组成，可以用来对未来的数据进行分类和预测。 ? 数据分类的两个步骤： ? 第 1 步：建立一个模型，描述给定的数据类集或概念集（简称训练集） ? 第 2 步：使用模型对数据进行分类。包括评估模型的分类准确性以及对类 标号未知的元组按模型进行分类 训练数据 分类算法 分类规则 学习 测试数据 待分类数据 分类规则 模型评估 新数据分类 3 7.1 信息论基础 ? 信息论是 C.E.Shannon 四十年代末期，以客观概率 信息为研究对象，从通信的信息传输问题中总结和 开拓出来的理论。主要研究的问题 ： ? 信源的描述，信息的定量度量、分析与计算 ? 信道的描述，信道传输的定量度量、分析与计算。 ? 信源、信道与通信系统之间的统计匹配，以及通信系统 的优化 — Shannon 的三个编码定理。 ? 信息论诞生五十年来，至今，仍然是指导通信技术 发展的理论基础，是创新通信体制的源泉 。