K-MEANS算法(K均值算法).docVIP

k-means算法 *************************************************************************** 一．算法简介 k-means算法，也被称为k-平均或k-均值，是一种得到最广泛使用的聚类算法。 它假设给定的数据集 ，X中的样本用d个描述属性A1,A2…Ad来表示，并且d个描述属性都是连续型属性。数据样本xi=(xi1,xi2,…xid), xj=(xj1,xj2,…xjd)其中，xi1,xi2,…xid和xj1,xj2,…xjd分别是样本xi和xj对应d个描述属性A1,A2,…Ad的具体取值。样本xi和xj之间的相似度通常用它们之间的距离d(xi,xj)来表示，距离越小，样本xi和xj越相似，差异度越小；距离越大，样本xi和xj越不相似，差异度越大。 欧式距离公式如下： （2）选择评价聚类性能的准则函数 k-means聚类算法使用误差平方和准则函数来评价聚类性能。给定数据集X，其中只包含描述属性，不包含类别属性。假设X包含k个聚类子集X1,X2,…XK；各个聚类子集中的样本数量分别为n1，n2,…,nk;各个聚类子集的均值代表点（也称聚类中心）分别为m1，m2,…,mk。 则误差平方和准则函数公式为： （3）相似度的计算根据一个簇中对象的平均值来进行。 将所有对象随机分配到k个非空的簇中。 计算每个簇的平均值，并用该平均值代表相应的簇。 根据每个对象与各个簇中心的距离，分配给最近的簇。 然后转2），重新计算每个簇的平均值。这个过程不断重复直到满足某个准则函数才停止。 ***************************************************************** 三．算法描述 为中心向量c1, c2, …, ck初始化k个种子 分组: 将样本分配给距离其最近的中心向量 由这些样本构造不相交（ non-overlapping ）的聚类 确定中心: 用各个聚类的中心向量作为新的中心 重复分组和确定中心的步骤，直至算法收敛 四．算法流程 输入：簇的数目k和包含n个对象的数据库。 输出：k个簇，使平方误差准则最小。 算法步骤： 1.为每个聚类确定一个初始聚类中心，这样就有K 个初始聚类中心。 2.将样本集中的样本按照最小距离原则分配到最邻近聚类 3.使用每个聚类中的样本均值作为新的聚类中心。 4.重复步骤2.3步直到聚类中心不再变化。 5.结束，得到K个聚类 O X Y 1 0 2 2 0 0 3 1.5 0 4 5 0 5 5 2 五．算法举例 数据对象集合S见表1，作为一个聚类分析的二维样本，要求的簇的数量k=2。 (1)选择 ， 为初始的簇中心，即 ， (2)对剩余的每个对象，根据其与各个簇中心的距离，将它赋给最近的簇。 对 显然 ，故将 分配给 对于 ： 因为 ，所以将 分配给 对于 ： 因为 ，所以将 分配给 更新，得到新簇 和 计算平方误差准则，单个方差为 总体平均方差是： （3）计算新的簇的中心。 重复（2）和（3），得到O1分配给C1；O2分配给C2，O3分配给C2 ，O4分配给C2，O5分配给C1。更新，得到新簇 和 。 中心为 ， 。 单个方差分别为 总体平均误差是： 由上可以看出，第一次迭代后，总体平均误差值52.25~25.65，显著减小。由于在两次迭代中，簇中心不变，所以停止迭代过程，算法停止。 六．k-means算法的性能分析 6.1 k-means算法的优缺点 主要优点： 是解决聚类问题的一种经典算法，简单、快速。 对处理大数据集，该算法是相对可伸缩和高效率的。因为它的复杂度是0 (n k t ) , 其中, n 是所有对象的数目, k 是簇的数目, t 是迭代的次数。通常k n 且t n 。 当结果簇是密集的，而簇与簇之间区别明显时, 它的效果较好。 主要缺点 在簇的平均值被定义的情况下才能使用，这对于处理符号属性的数据不适用。 必须事先给出k（要生成的簇的数目），而且对初值敏感，对于不同的初始值，可能会导致不同结果。 它对于“躁声”和孤立点数据是敏感的，少量的该类数据能够对平均值产生极大的影响。 针对K-Means算法对于不同的初始值，可能会导致不同结果。解决方法： 1