k-means聚类分析试验报告-qunliu.pdfVIP

k-means 聚类分析实验报告 刘群∗ 地球系统科学研究中⼼ 2015 年4 ⽉24 ⽇ 1 k-means 算法简介 k-means 是⼀种聚类分析的算法，属于聚类分析中的划分⽅法, 主要思想是把数据划分成 k 个区域，通过基于 距离的启发式的迭代，找到最优的聚类⽅案。其主要过程是: 1. 从问题空间中随意选取 k 个点，作为初始簇的中⼼; 2. 重复以下过程: (a) 对数据集中的每个数据点，计算它到不同簇中⼼的距离，根据距离的⽐较，将该数据点分配到与其距离 最近的中⼼点; (b) 针对每⼀个簇，计算簇中所有点的均值，并以均值作为新的中⼼点; 3. 直到各簇的中⼼点不再发⽣变化. 但是k-means 也有⼀些问题，即在初始条件下我们并不知道最好要分⼏类，⽽且在 k 值确定的基础上，计算结 果倾向于收敛到局部最⼩值，⽽不是全局最⼩值, 并且对于数据中的离群点⾮常敏感。 2 k-means.py 程序简介 本次作业的主要任务是利⽤k-means ⽅法对Iris 数据进⾏分类，由于这组数据⾥本⾝就含有三个类别，因此在 进⾏分类时，我也采取了 k ＝3 来进⾏分类。主要过程如下： 1. 确定k 值，由于这⾥的测试数据本⾝就是来⾃3 个类别，因此这⾥取 . 当然，我们应该取不同的k 值进 ⾏测试，但是对于不同的 k 值所分出的不同的类别，我们应该如何去判断优劣呢？由于这个标准不能简单的 选择到中⼼点的距离来判断，因此这⾥我就暂时不对 k 值进⾏讨论。 2. 随机选择k 个 中⼼点, 这⾥我采⽤的是最简单的选取⽅法，即采⽤python 中⾃带的random 模块产⽣k 组 随机数作为初始迭代的中⼼点。 center = np.array(random.sample(x_train, k)) 3. 计算所有点到所有中⼼点的距离，这⾥我们采⽤的是欧式距离， 4. 求每个样本聚类的结果，在这⾥，我们是根据所有样本到中⼼点的距离来判断的。对于⼀个样本来说，其归属 于距离⾃⼰最近的中⼼点，我们在这⾥是基于对距离的排序确定的。对于每⼀个样本来说，都要计算其到各个 中⼼点的值，这样就可以⽣成 的矩阵，在进⾏计算时，我们可以利⽤tile 函数将数组进⾏扩充形成⼀ 个⼤矩阵，然后利⽤矩阵的相关操作进⾏运算，这样可以提⾼计算效率。然后我们利⽤ python 中的argmin 函数，对每⼀⾏进⾏排序即可得到相应的类别分类。 for i in range (k): C = np.tile(center[i,:], (150,1)) dist[:,i]=np.sqrt(np.sum ((x_train-C) 2,axis=1)) ** labels = np.argmin(dist, axis=1) ∗ 电⼦邮件: liu-q14@mails.tsinghua.edu.cn ，学号: 2014211591 1 5. 计算新的中⼼点, 这⾥我们采⽤的⽅法是将某⼀类别的数据提取出来，分别计算器⼏何中⼼（即每个维度求各 ⾃的平均）。 newcenter = np.zeros((k,4)) for i in range (k): newcenter[i,:] = np.average(x_train[labels==i,:], axis=0) 6. 判断中⼼点是否发⽣变化, 若没有发⽣变则训练结束, 若有变化，重复步骤 3 。在进⾏判断时，我们引⼊了⼀ 个新的变量 changed 来判断。由于 之后，我们得到的是⼀个 bool 型矩阵，因此我们 又利⽤了 函数来判断矩阵中是否全为True ，如果全为True ，即新旧中⼼点是相同的，则停⽌迭代，否 则就继续迭代。 changed = (newcenter == center).all () == False