数据仓库与数据挖掘第7章分析报告.pptVIP

第二节 常用分类方法 4. 其他分类方法 K-最近邻分类：基于类比学习。训练样本代表n维空间的一个点。这样，所有的训练样本都存放在n维模式空间中。给定一个未知样本， K-最近邻分类法搜索模式空间，找出最接近未知样本的k个训练样本。这k个训练样本是未知样本的k个“邻居”。“近邻性”用欧几里德距离定义，其中两个点X=(x1,x2,…,xn) 和Y=(y1,y2,…,yn)的欧几里德距离是： 第二节 常用分类方法 4. 其他分类方法 K-最近邻分类 未知样本被分配到K个最近邻者中最公共的类。当k=1时，未知样本被指定到模式空间中与之最临近的训练样本的类 第二节 常用分类方法 4. 其他分类方法 K-最近邻分类： 最近邻分类是基于要求的或懒散的学习法，即它存放所有的训练样本，并且直到新的样本需要分类时才建立分类。同决策树归纳和后向传播这样的急切学习法相比，后者在接受待分类的新样本之前需要构造一个一般模型。当与给定的无标号样本比较的可能的临近者数量很大时，懒散的学习法可能会需要很高的计算成本 第二节 常用分类方法 4. 其他分类方法 K-最近邻分类： 懒散的学习法在训练时比急切学习法快，但在分类时慢，因为所有的计算都推迟 最近邻分类也可以用于预测，即返回给定的未知样本的实数值预测。在此情形下，分类返回未知样本的K个最近邻者实数值标号的平均值 第二节 常用分类方法 4. 其他分类方法 基于案例的推理CBR（case-based reasoning） CBR存放的样本或“案例”是复杂的符号描述。 当给定一个待分类的新案例时，基于案例的推理首先检查是否存在一个同样的训练案例。如果找到一个，则返回附在该案例上的解。如果找不到同样的案例，则基于案例的推理将搜索具有类似新案例成分的训练案例。从概念上，这些训练案例可以视为新案例的邻接者 第二节 常用分类方法 4. 其他分类方法 基于案例的推理CBR 基于案例的推理试图组合临近的训练案例，提出新案例的解。基于案例的推理可能使用背景知识和问题求解策略，以便提出可行的组合解。基于案例的推理方法的核心是找到一个好的相似性度量，开发对训练案例索引的有效技术和组合解方法 第二节 常用分类方法 4. 其他分类方法 遗传算法试图结合自然进化的思想。 遗传学习开始如下：创建一个由随机产生的规则组成的初始群体，每个规则可以用一个二进位串表示 例如，假定给定的训练集用两个布尔属性A1和A2描述，并且有两个类C1和C2。规则： IF A1 AND NOT A2 THEN C2 可以用二进位串“100”编码 第二节 常用分类方法 4. 其他分类方法 遗传算法 根据适者生存的原则，形成由当前群体中最适合的规则组成的新的群体，以及这些规则的后代。典型情况下，规则的适合度用它对训练样本集的分类准确率评估 后代通过使用交叉和变异等遗传操作来创建。由先前的规则群体产生新的规则群体的过程继续，直到群体P“进化”，P中的每个规则满足预先指定的适合度阈值。该方法主要用于挖掘算法评估 第二节 常用分类方法 4. 其他分类方法 粗糙集方法主要用于分类，发现不准确数据或噪声数据内在的结构联系，处理针对离散值属性 粗糙集方法基于给定训练数据内部的等价类的建立。形成等价类的所有数据样本是不加区分的，即对于描述数据属性，这些样本是等价的 粗糙集可以用来近似或“粗略地”定义这种类 第二节 常用分类方法 4. 其他分类方法 粗糙集方法 给定类C的粗糙集定义用两个集合近似：C的下近似和C的上近似 C的下近似：由这样一些数据样本组成，根据关于属性的知识，它们一定属于C C的上近似：由这样一些数据样本组成，根据关于属性的知识，它们不可能被认为不属于C 第二节 常用分类方法 5. 分类方法新进展 ⑴基于粒度计算的分类方法 粒度计算是模糊信息粒度理论、粗糙集理论和区间计算理论的超集，是粒度数学的子集。在粒度计算在分类中的应用中，如J. T. Yao等学者将经典的ID3和PRISM分类算法拓展为基于粒度计算的分类算法。通过修改现有算法，使得分类规则更易于理解，同时获得较高的预测精度。 该研究方向对粒度计算语义的研究有限 第二节 常用分类方法 5. 分类方法新进展 ⑵ 基于群的分类方法（swarm based approach ） 该方法模拟自然生物界的蚁群、鱼群和鸟群在觅食或逃避敌人时的行为，可分为蚁群算法或蚁群优化（ant colony optimization，ACO）、Particle Swarm Optimisers（PSO） ACO、PSO在数据挖掘中的应用研究尚处于早期阶段，仍有大量的工作有待开展 第二节 常用分类方法 5. 分类方法新进展 ⑶ 基于关联规则挖掘的分类方法 将关联规则用于分类，主要有