大数据十大经典算法讲解1.pptVIP

一个实验 所有实验都是在实验室搭建的Ｈａｄｏｏｐ平台 上运行的．平台有５ 台机器，都是四核Ｉｎｔｅｌ Ｃｏｒｅｉ３处理器，４ＧＢ内存．Ｈａｄｏｏｐ版本０．２０．２， ｊａｖａ版本１．６．２５．每台机器之间用千兆以太网 卡，通过交换机连接．实验所用的数据是人工数 据，维度是４８维．为了测试算法的性能，实验中构 造了分别含有10^4，10^5,10^6，2*10^6 条 记录的数据来进行测试．由于ＫＭｅａｎｓ算法中有 随机初始化中心点的操作，因此对每一组实验重 复执行２５次，取其平均执行时间作为最终实验结 果 算法改进后的实效 可以看出：基于ＭａｐＲｅｄｕｃｅ的ＫＭｅａｎｓ算法 的运行效率要远远高于传统的ＫＭｅａｎｓ算法 QA LOGO The algorithm of Kmeans 小组成员：徐佳、张俊飞、刘志伟、孔祥玉 主要内容： Kmeans实战 聚类算法简介 Kmeans算法详解 Kmeans算法的缺陷及若干改进 Kmeans的单机实现与分布式实现策略 聚类算法简介 1 2 3 聚类的目标：将一组向量分成若干组，组内数据是相似的，而组间数据是有较明显差异。 与分类区别：分类与聚类最大的区别在于分类的目标事先已知，聚类也被称为无监督机器学习 聚类手段：传统聚类算法 ①划分法 ②层次方法 ③基于密度方法 ④基于网络方法 ⑤基于模型方法 什么是Kme