KMeans聚类算法在MapReduce上的并行化实现.pptVIP

下面，开始第2轮迭代，此时全局文件已经更新为 在第i次迭代后，已经生成了K个聚类。如果满足了终止条件，即可停止迭代，输出K个聚类 终止条件： 设定迭代次数; 均方差的变化（非充分条件） 每个点固定地属于某个聚类 其他设定条件 ... ... 与具体的应用高度相关 利用MapReduce来并行化K-Means聚类过程是可行的 每个节点计算一部分数据的归属，从而实现并行 数据间是无关的，但是数据和聚类中心是相关的，因此需要全局文件，但不构成性能瓶颈 没有因为并行而降低了算法的精确度（每一个点均保证与每一个cluster center进行了比较） NetFlix 百万美元 大奖赛 美国的一家电影在线租赁公司 拥有大量用户的影评记录 影片推荐系统基于这些影评记录 能够将推荐正确率提高10%者，将获得100万美元的奖励 有17770个影片的影评文件，每个文件代表一部影片，描述了观众对于该影片的评价 评价的指数从★到★★★★★ ，每个影评文件的格式如 mv_0000001.txt 两个影评文件中的观众id可能有相同的，也可能不同 目的：根据观众的评价对这17770部影片进行数据挖掘，输出约400个聚类，使得每个聚类中的影片是相似的 考虑： 1. 怎样定义及计算这类聚类问题中的相似度 2. 怎样表示一个聚类（或聚类中心） 3. 对于高维数据怎样预处理 4. 怎样减少高维数据的计算量 1. Web Mining – II: Parallelizing K-Means Clustering with MapReduce. By Tushar Deshpande , Tejas Vora . 2. Mining of Massive Datasets. By Anand Rajaraman, Je?rey D. Ullman. 3. Data-Intensive Text Processing with MapReduce. By Jimmy Lin and Chris Dyer T h a n k s 鸣谢：本课程得到Google公司 北京） 中国大学合作部精品课程计划资助 1.为什么选择数据挖掘作为并行计算的研究点 2.K-Means聚类算法介绍 3.K-Means算法为什么适合使用并行方法 4.基于MapReduce的K-Means并行算法 5.问题讨论 定义：数据挖掘是通过对大规模观测数据集的分析，寻找确信的关系，并将数据以一种可理解的、且利于使用的新颖方式概括数据的方法。 数据挖掘的特征之一：海量数据 —— Small data does not require data mining, large data causes problems —— 以上摘自黎铭的《数据挖掘》课件 可见，数据挖掘是并行计算中值得研究的一个领域 定义：将给定的多个对象分成若干组，组内的各个对象是相似的，组间的对象是不相似的。进行划分的过程就是聚类过程，划分后的组称为簇（cluster）。 几种聚类方法： 基于划分的方法； 基于层次的方法； 基于密度的方法； ... ... 给定N个对象，构造K个分组，每个分组就代表一个聚类。 这K个分组满足以下条件： 每个分组至少包含一个对象； 每个对象属于且仅属于一个分组； K-Means算法是最常见和典型的基于划分的聚类方法 输入：待聚类的N个数据点，期望生成的聚类的个数K 输出：K个聚类 ----算法描述