【数盟北京14.3.29统计分析聚会】李明kmeans的RHadoop实现说明.pdfVIP

++ 《Rhadoop实践课程》 第一课 Kmeans算法实现 2014.3.14 李明 博客 文档概述 +  通过kmeans在RHadoop上的实现方案，讲解R+Hadoop 解决方案 博客 + 目录 1 Rhadoop原理概述 2 kmeans算法概述，数据集及R语言实现方案 3 Rhadoop实现方案 博客 Mapreduce原理 + 建立针对每个样本点的逐条处理语句，慎重使用sum等涉及多个样本点的语句。因为数据在分配 到datanode时是不可控的，易出错误：x[i]/sum(x)/x[i]/sum(x[node1上的样本]) 把输入的HDFS数据放于不同datanode数据节点上 （此时即使是键值对数据也会被打乱） 每个datanode上运行map()阶段函数 每个datanode上产生key-value键值对 自动依据key值把不同datanode上 产生的键值对进行重排序 应为经过了从排序处理，所以每个reduce上处理的数据是 可控的（通过map输出的key值），所以可以使用sum等涉 及多个样本的语句 执行reduce阶段处理，每个reduce()函数的输入 数据对应1组key相同的键值对数据。 输出键值对 博客 Wordcount实例原理 + wordcount = function( input, output = NULL, pattern = ){ wc.map = function(., lines) { keyval( unlist( strsplit( x = lines, split = pattern)), 1)} wc.reduce = function(word, counts ) { keyval(word, sum(counts))} mapreduce( input = input , output = output, input.format = text, map = wc.map, reduce = wc.reduce, combine = T)} 自动操作 博客 + 目录 1 Rhadoop原理概述 2 kmeans算法概述，数据集及R语言实现方案 3 Rhadoop实现方案