ch71数据挖掘算法聚类.pptx

第七章 数据挖掘算法—聚类;第七章 数据挖掘算法—聚类;;聚类分析源于许多研究领域，包括数据挖掘、统计学、机器学习、模式识别等。作为一个数据挖掘中的一个功能，聚类分析能作为一个独立的工具来获得数据分布的情况，并且概括出每个簇的特点，或者集中注意力对特定的某些簇做进一步的分析。 数据挖掘技术的一个突出的特点是处理巨大的、复杂的数据集，这对聚类分析技术提出了特殊的挑战，要求算法具有可伸缩性、处理不同类型属性的能力、发现任意形状的类、处理高维数据的能力等。根据潜在的各项应用，数据挖掘对聚类分析方法提出了不同要求。;二、聚类在数据挖掘中的典型应用： 聚类分析可以作为其它算法的预处理步骤：利用聚类进行数据预处理，可以获得数据的基本概况，在此基础上进行特征抽取或分类就可以提高精确度和挖掘效率。也可将聚类结果用于进一步关联分析，以获得进一步的有用信息。 可以作为一个独立的工具来获得数据的分布情况：聚类分析是获得数据分布情况的有效方法。通过观察聚类得到的每个簇的特点，可以集中对特定的某些簇作进一步分析。这在诸如市场细分、目标顾客定位、业绩估评、生物种群划分等方面具有广阔的应用前景。 聚类分析可以完成孤立点挖掘：许多数据挖掘算法试图使孤立点影响最小化，或者排除它们。然而孤立点本身可能是非常有用的。如在欺诈探测中，孤立点可能预示着欺诈行为的存在。 ;广泛的应用领域;广泛的应用领域;聚类分析的目标就是形成的数据簇，并且满足下面两个条件： 一个簇内的数据尽量相似（high intra-class similarity）； 不同簇的数据尽量不相似（low inter-class similarity）。 衡量一个聚类分析算法质量，依靠： 相似度测量机制是否合适。 是否能发现数据背后潜在的、手工难以发现的类知识。;聚类算法的要求 ;Dissimilarity/Similarity 度量: Similarity is expressed in terms of a distance function, which is typically metric: d(i, j) 对于不同的数据类型，距离函数的定义是非常不同的 区间标度变量(Interval-scaled variables) 二元变量(Binary variables) 标称型、序数型和比例标度型 混合型 ;四、相似性计算方法—区间标度变量;四、相似性计算方法—区间标度变量;四、相似性计算方法—区间标度变量;四、相似性计算方法—二元变量;四、相似性计算方法—二元变量;四、相似性计算方法—二元变量;四、相似性计算方法—二元变量;四、相似性计算方法—二元变量;四、相似性计算方法—二元变量;四、相似性计算方法—二元变量;四、相似性计算方法—类间距离;四、相似性计算方法—类间距离;五、聚类分析方法的分类:;按照聚类的尺度，聚类方法可被分为以下三种： 基于距离的聚类算法：用各式各样的距离来衡量数据对象之间的相似度，如k-means、k-medoids、BIRCH、CURE等算法。 基于密度的聚类算法：相对于基于距离的聚类算法，基于密度的聚类方法主要是依据合适的密度函数等。 基于互连性(Linkage-Based)的聚类算法：通常基于图或超图模型。高度连通的数据聚为一类。;按照聚类分析算法的主要思路，可被归纳为如下几种： 划分法（Partitioning Methods）：基于一定标准构建数据的划分。属于该类的聚类方法有：k-means、k-modes、k-prototypes、k-medoids、PAM、CLARA、CLARANS等。 层次法（Hierarchical Methods）：对给定数据对象集合进行层次的分解。 密度法（density-based Methods）：基于数据对象的相连密度评价。 网格法（Grid-based Methods）：将数据空间划分成为有限个单元（Cell）的网格结构，基于网格结构进行聚类。 模型法（Model-Based Methods）：给每一个簇假定一个模型，然后去寻找能够很好的满足这个模型的数据集。 ;六、划分方法;启发式方法: k-平均算法和k-中心点算法 k-均值算法:每个簇用该簇中对象的平均值来表示。 k-中心点算法: 每个簇用接近聚类中心的一个对象来表示;k-means算法，也被称为k-平均或k-均值，是一种得到最广泛使用的聚类算法。相似度的计算根据一个簇中对象的平均值来进行。 首先将所有对象随机分配到k个非空的簇中。 计算每个簇的平均值，并用该平均值代表相应的簇。 根据每个对象与各个簇中心的距离，分配给最近的簇。 然后转第二步，重新计算每个簇的平均值。这个过程不断重复直到满足某个准则函数才停止。;1、K-均值算法;算法 k-means算法 输入