K-means算法总结.pdf

K-means 算法总结及c++编程实现 /* *@author:郑海波 zhb931706659@126.com */nuptboyzhb/ *参考：斯坦福大学 machine learning */ 算法描述： k-means 算法是无监督学习算法，它是将给定的训练数据集合{x , x , x ,..., x }进 1 2 3 n 行分类，分成多个“簇”(clusters) 。因为没有给出输入x 下的y ，也即是对于输 i i 入的值没有标定输出时多少，所以这个一个无监督学习算法。 算法步骤： k-means 算法当中的k 的意思是分成k 个“簇”， μ 表示第j 个簇的中心。为了 j 初始化μ ，我们可以随机选择。循环内部可以分为2 步： j 第一步：计算训练集合中Xi 离哪一个μ 最近就将其暂时归类到μ 。 j j 第二步：计算归类到μ 的所有元素的中心点，并更新μ 。 j j 收敛：μ 的每一个元素不在随着迭代的进行而改变。 j 算法的损失函数： m 2 i J (c,μ) x( ) =−μ ∑ c(i) i 1 其中公式里的范数可以理解为向量的2 范数。K-means 算法实际上是对损失函数 进行坐标上升算法的结果。所有，算法肯定收敛。 迭代的示意图： 注意： 问题1：K 值选取问题 K 的选取通常是我们的目标，也就是说，我们要将这队数据分为几类。因此，是 相对明确的。 问题2 ：初始值的选取问题 初始值的选取对于迭代的结果有较大的影响，选取不当，会出现所有点都归为一 类的情况。一个通常的解决方案是：随机选取多组初始值进行分类，选取损失函 数最小的分类结果。 编程举例： 将如下三维空间的点进行k-means 分类： [input.txt] 1.0 , 5.7 , 2.8 4.5 , 5.2 , -0.3 -0.9 , 8.1 , 1.4 0.5 , 6.6 , 2.3 3.5 , 4.7 , 0.2 4.7 , 5.9 , -1 5.1 , 8.2 , 0.9 2.1 , 7.4 , 3.0 0.6 , 6.5 , 3.8 在三维空间的图及k-means 分类的结果 K-means 算法的c++实现代码： #include iostream #include fstream #include cmath #include vector #define dim 3//输入特征x 的维数 #define K 2//分类的个