聚类算法比较.docVIP

聚类算法: 1. 划分法 ：K-MEANS算法、K-MEDOIDS算法、CLARANS算法； K-Means聚类算法主要分为三个步骤：(1)第一步是为待聚类的点寻找聚类中心(2)第二步是计算每个点到聚类中心的距离，将每个点聚类到离该点最近的聚类中去(3)第三步是计算每个聚类中所有点的坐标平均值，并将这个平均值作为新的聚类中心反复执行(2)、(3)，直到聚类中心不再进行大范围移动或者聚类次数达到要求为止 ? 下图展示了对n个样本点进行K-means聚类的效果，这里k取2：(a)未聚类的初始点集(b)随机选取两个点作为聚类中心(c)计算每个点到聚类中心的距离，并聚类到离该点最近的聚类中去(d)计算每个聚类中所有点的坐标平均值，并将这个平均值作为新的聚类中心(e)重复(c),计算每个点到聚类中心的距离，并聚类到离该点最近的聚类中去(f)重复(d),计算每个聚类中所有点的坐标平均值，并将这个平均值作为新的聚类中心 ?? 优点： 1.算法快速、简单; 2.对大数据集有较高的效率并且是可伸缩性的; 3.时间复杂度近于线性，而且适合挖掘大规模数据集。 缺点： 1. 在 K-means 算法中 K 是事先给定的，这个 K 值的选定是非常难以估计的。 2. 在 K-means 算法中，首先需要根据初始聚类中心来确定一个初始划分，然后对初始划分进行优化。这个初始聚类中心的选择对聚类结果有较大的影响。 3. 从 K-means 算法框架可以看出，该算法需要不断地进行样本分类调整，不断地计算调整后的新的聚类中心，因此当数据量非常大时，算法的时间开销是非常大的。 4. 产生类的大小相差不会很大，对于脏数据很敏感。 K-MEDOIDS（k-medoids）算法 ????????CLARANS聚类则是将CLARA和PAM有效的结合起来，CLARANS在任何时候都不把自身局限于任何样本，CLARANS在搜素的每一步都以某种随机性选取样本。算法步骤如下（算法步骤摘自百度文库）：? 1、输入参数numlocal和maxneighbor。numlocal 表示抽样的次数， maxneighbor 表示一个节点可以与任意特定邻居进行比较的数目 令：i=1，i用来表示已经选样的次数 mincost为最小代价，初始时设为大数。? 2、设置当前节点current为Gn中的任意一个节点。? 3、令j =1。（j用来表示已经与current进行比较的邻居的个数）? 4、考虑当前点的一个随机的邻居S，并计算两个节点的代价差。 5、如果S的代价较低，则current:=S，转到步骤3。? 6、否则，令j=j+1。如果j=maxneighbor,则转到步骤4。? 7、否则 ，当jmaxneighbor，当前节点为本次选样最小代价节点. 如果其代价小于mincost,令mincost为当前节点的代价，bestnode为当前的节点。? 8、令 i= i+1，如果i〉numlocal,输出bestnode，运算中止.否则，转到步骤2。 对上面出现一些概念进行说明：? ????（1）代价值，主要描述一个对象被分到一个类别中的代价值，该代价值由每个对象与其簇中心点间的相异度（距离或者相似度）的总和来定义。代价差则是两次随机领域的代价差值。? ????（2）更新邻接点，CLARANS不会把搜索限制在局部区域，如果发现一个更好的近邻，CLARANS就移到该近邻节点，处理过程从新开始；否则，当前的聚类则产生了一个局部最小。如果找到一个局部最小，CLARANS从随机选择的新节点开始，搜索新的局部最小。当搜索的局部最小解达到用户指定的数目时，最好的局部最小作为算法的输出。从上面的算法步骤也可以看出这一思想。在第5步中更新节点current。 2. 层次法 ：自顶向下，自底向上。BIRCH算法、CURE算法、CHAMELEON算法等； BIRCH算法(最大的特点是能利用有限的内存资源完成对大数据集的高质量的聚类，同时通过单遍扫描数据集能最小化I/O代价。如果簇不是球形的，BIRCH不能很好的工作，因为它用了半径或直径的概念来控制聚类的边界。CHAMELEON是一种两阶段聚类法。第一阶段把点分成很多小的簇；第二阶段根据相近程度合并这些小的簇。第一阶段采用K最邻近法，即把一个点和它最邻近的K个点连接起来。第二阶段计算任意两个簇的互连性RI和紧密性RC，当两个指标都比较大时才合并这两个簇。 下图是第一阶段后形成的几个小的子簇： ? 把子簇合并后形成的最终簇划分： DBSCAN（Density-Based Spatial Clustering of Applications with Noise，具有噪声的基于密度的聚类方法）是一种基于密度的空间聚类算法。该算法将具有足够密度的区域划分为簇，