数据挖掘 Bayes.pptVIP

P o w e r B a r 中国专业PPT设计交流论坛 7.3 判 定 树 7.4 贝叶斯分类主 讲 人：刘飞 幕后支持：冯鹏展 讲课时间：2012年4月21日 由判定树提取分类规则 提取判定树表示的知识，并以IF-THEN形式的分类规则表示。对从根到树叶的每条路径创建一个规则。沿着给定的路径上的每个属性-值对形成规则前件（IF部分）的一个和取项。叶节点包含类预测，形成规则后件（THEN部分）。 例7.3由判定树产生分类规则。沿着由根结点到树叶结点的路经，由图7.2提取的规则是： IF age=”=30”AND student=“no” THEN buys_computer=“no” IF age=”=30”AND student=“yes” THEN buys_computer=“yes IF age=”31...40” THEN buys_computer=“yes IF age=”40”AND credit_rating=“excellent” THEN buys_computer=“no” IF age=”40”AND credit_rating=“fair” THEN buys_computer=“yes 基本判定树归纳的加强 7.3.1小节的判定树归纳基本算法要求所有的属性是分类的或离散化的。可以修改该算法，允许属性具有整个离散区间或连续值。在这种属性A上的测试导致两个分枝，对应于条件A≤V和A其中V是A的某个数值值。给定A的值v，确定V时考虑v-1个可能的分割。 通过重复地将数据划分成越来越小的部分，判定树归纳可能面临碎片、重复和复制问题。 碎片指一个给定分枝中的样本数太小，没有统计意义。解决该问题的一种方法是将分类属性值分组。 当一个属性沿树的一个给定分枝重复测试时，就出现重复。 复制是复制树中已存在的子树。属性（特征）构造是防止这三个问题的一种方法。 判定树归纳的可伸缩性 已有的判定树算法，如ID3和C4.5，对于相对小的数据集是很有效的。当这些算法用于非常大的、现实世界数据库的挖掘时，有效性和可规模性就成了关注的问题。大部分判定树算法都限制训练样本驻留主存。在数据挖掘应用中，包含数以百万计样本的非常大的训练集是很普通的。因此，这一限制就制约了这些算法的可规模性。由于训练样本在主存和高速缓存换进换出，判定树的构造可能变得效率低下。 由大型数据库构造判定树的早期策略包括对连续属性离散化，在每个结点对数据选样。然而， 这些仍然假定训练集可以放在主存。一种替代的方法是：首先，将样本划分成子集，使得每个子集可以放在内存；然后，由每个子集构造一棵判定树；最后，输出的分类法将由每个子集得到的分类法组合在一起。尽管该方法可以用于大数据集的分类，其分类的准确性不如一次使用所有的数据的方法高。 最近，已经提出了一些判定树算法，它们强调可规模性。由非常大的训练集进行判定树归纳的算法包括SLIQ和SPRINT；它们都能处理分类属性和连续值属性。这两种算法都使用了预排序技术，对非常大，而不能放入内存的驻留磁盘的数据集进行预排序。两种算法都定义使用新的数据结构，以利于树的构造。SLIQ使用若干驻留磁盘的属性表和单个驻留主存的类表。对于表7.2的样本数据，SLIQ产生的属性表和类表如图7.5所示。 表7-2 类 buys-computer的样本数据 RID Credit_tating age Buy_computer 1 excellent 38 yes 2 excellent 26 yes 3 fair 35 no 4 excellent 49 no 表7-5 对应于表7-2样本数据SLIQ使用的属性表和类表 集成数据仓库技术和判断树归纳 数据方方法可以与判定树归纳集成，提供交互的判定树的多层挖掘。数据方和存放在概念分层中的知识可以用于在不同的抽象层归纳判定树。此外，一旦导出判定树，概念分层可以用来泛化或特化树的结点，可以在属性上进行上卷或下钻，并对新的特定抽象层的数据重新分类。 面向属性的归纳（AOI）使用概念分层，通过以高层概念替换低层概念泛化训练数据（第5章）。当我们将AOI与判定树归纳集成时，泛化到很低的（特定的）概念层可能导致非常大而茂盛的树。对非常高的概念层的泛化可能导致判定树没什么用； 贝叶斯分类 贝叶斯分类是统计学分类方法。它们可以预测类成员关系的可能性，如给定样本属于一个特定类的概率。 设X是类标号未知的数据样本。设H为某种假定，如，数据样本X属于某特定的类C。对于分类问题，我们希望确定P(H|X)——给定观测数据样本X，假定H成立的概率。P(H|X)是后验概率，或条件X下，H的后验概率。 例如，假定数据样本世界由