基于MapReuce的K-Means算法设计与实现.pptVIP

概要 研究背景 基于MapReduce的K-Means算法设计 实验结果和分析 K-Means简介 研究背景 大数据时代的来临 数据呈现爆炸性增长 传统的平台无法满足需求 亟需新的平台 云计算的出现 天才般的MapReduce计算框架 开源的Hadoop平台 聚类算法和大数据 数据越大，聚类效果越好 K-Means简介 输入：聚类个数K，以及包含N个数据待聚类数据集 输出：聚类中心不再变化的K个聚类中心 算法过程： 从从数据集中随机选取K个数据作为中心 测量所有数据到每个中心的距离，并把它归到最近的中心的类 重新计算已经得到的各个类的中心 迭代2～3步直至新的中心与原中心的距离小于指定阈值，算法结束 K-Means算法流程图 K-Means示例 基于MapReduce的K-Means算法设计 算法设计 伪代码 Map伪代码 Partion伪代码 Reduce伪代码 OutputFormat伪代码 算法设计 job：计算新的聚类中心 Map： 输入：Object，一条数据 输出：所属类 ，数据 Reduce： 输入： ，相应数据的集合 输出： ,新的聚类中心 迭代job，直至相连两次的聚类中心小于阈值 流程图 Map伪代码 public void map(Object key, Text value, OutputCollectorIntWritable, Text output, Reporter reporter) { String line = value.toString().trim(); int sort = 0;//聚类类别 double minDis = Double.MAX_VALUE; for (int i = 1; i =K; i++) { double tmpDis = calDis(i, line);//数据和类i间的距离 if (tmpDis minDis) { sort = i; minDis = tmpDis; } } output.collect(new IntWritable(sort), value); } Partition伪代码 public class KeyPartition K,V implements PartitionerK, V { @Override public int getPartition(K key, V value, int n) { // TODO Auto-generated method stub return Math.abs(key.hashCode())%n; } @Override public void configure(JobConf arg0) { // TODO Auto-generated method stub } } Reduce伪代码 public void reduce(IntWritable key, IteratorText values,OutputCollectorIntWritable, Text output, Reporter reporter) { int rows = 0, i = 0;//rows表示数据条数 double records[] = new double[COLS];//COLS为全局变量，表示属性的个数 while (values.hasNext()) { rows++; String tmp = values.next().toString(); StringTokenizer itr = new StringTokenizer(tmp); i = 0; while (itr.hasMoreTokens() i COLS) { records[i++] += Double.parseDouble(itr.nextToken()); } } String line = ; for (i = 0; i COLS; i++) { line += records[i]/rows+ \t; } output.collect(key, new Text(line)); } OutputFormat伪代码 public class FileNameMultipleOutputFormatK, V extends MultipleTextOutputFormatK, V { //使输出文件名为类型K的值，本例为1、2、3 @Override protected String generateFileNameForKeyValue(K