Kmeans算法简介与python实践.pptxVIP

Kmeans算法简介与python实践

提纲Kmeans算法实验Kmeans算法简介

聚类与Kmeans算法简介聚类算法是一种典型的无监督学习算法，在聚类算法中根据样本之间的相似性，将样本划分到不同的类别中，对于不同的相似度计算方法，会得到不同的聚类结果，常用的相似度计算方法有欧式距离法。聚类的算法一般包括：划分聚类算法，层次聚类算法，基于密度聚类，基于网格聚类算法。基本K-Means算法的思想，事先确定常数K，常数K意味着最终的聚类类别数，首先随机选定初始点为质心，并通过计算每一个样本与质心之间的相似度(这里为欧式距离)，将样本点归到最相似的类中，接着，重新计算每个类的质心(即为类中心)，重复这样的过程，直到质心不再改变，最终就确定了每个样本所属的类别以及每个类的质心。由于每次都要计算所有的样本与每一个质心之间的相似度，故在大规模的数据集上，K-Means算法的收敛速度比较慢。

Kmeans算法流程数据清洗，标准化利用类中样本到质心的平均距离评价模型保留训练数据标准化参数，应用模型进行归类确定K值，创建模型随机化质心，模型训练Kmeans是基于距离的运算，数据必须标准化，对于无法量化的标称变量，例如地域（东南西北）等需要进行独热编码。对于K值的确定，是Kmean的一个最大缺点，往往需要经验判断，统计学上，遍历k[1,样本量，step]，刻画不同k的类样本与质心平均距离曲线确定k的取值。质心初始随机化：K-Means算法的另一个缺点，对初始选取的聚类中心点是敏感的，不同的随机种子点得到的聚类结果完全不同。可选用多次随机化（例如同一个模型训练10次，取最优结果），也可选用K-Means++算法来解决这个问题，其思想是初始的聚类中心之间的相互距离要尽可能远。

提纲Kmeans算法实验Kmeans算法简介

Python进行Kmeans实践系统准备：centos6.8、Spark2.3.1、Pyrhon3.X数据准备：采用UCI机器学习库中的wine数据集作为算法数据，包括了三种酒中13种不同成分的数量。成分分别为：Alcohol，Malicacid，Ash，lcalinityofash，Magnesium，Totalphenols，Flavanoids，Nonflavanoidphenols，Proanthocyanins，Colorintensity，Hue，OD280/OD315ofdilutedwines，Proline。在“wine.data”文件中，每行代表一种酒的样本，共有178个样本；一共有14列，其中，第一列为类标志属性，共有三类，分别记为“1”，“2”，“3”；后面的13列为每个样本的对应属性的样本值。第1类有59个样本，第2类有71个样本，第3类有48个样本。本例实验是聚类，所以我们不用第一列的数据建模目的：训练kmeans聚类器，使得知道13个特征后，对样本进行聚类。

实例：初始化Spark，读取数据#-*-coding:utf-8-*-#pyspark--masterlocal[5]frompysparkimportSparkContext,SQLContext,SparkConffrommathimportsqrt

#初始化sparkContextconf=SparkConf().setMaster(local).setAppName(MyKmeansDemo)sc=SparkContext(conf=conf)sqlContext=SQLContext(sc)

#读取数据df_wine=sc.textFile(ufile:/root/Documents/liangdong/work/laboratory/wine数据集.txt).map(???lambdax:str(x).split(,)).map(lambdax:[float(z)forzinx])

实例：展示数据#本地数据转换为RDD

df_wine_rdd=sqlContext.createDataFrame(df_wine)

#展示数据

df_wine_rdd.show()

实例：数据整理，标准化#去掉第一列，第一列为类别，我们不关注，我们假设不知道类别，用聚类的方式让数据聚类df_wine_rdd=df_wine_rdd.drop(_1)

#合并所有列，构建spark向量importpyspark.ml.featureasml_featurecols=df_wine_rdd.columnsvectorAssembler=ml_feature.VectorAssembler().setInputCols(