Hadoop大数据处理讲义-C6. MapReduce.pdf

海量数据处理中的云计算 C6. MapReduce （二） 北京邮电大学信息与通信工程学院 刘军 2014年春季学期 新闻时事  运营商大数据交流分享 第2页 新闻时事  论阿里“云梯”的倒下 第3页 问题解答  Combine实例 第4页 上节作业  编写MapReduce程序，处理access.log （QQ群共享）文件，统计每 个用户访问每个SP的次数、总流量 – 已有30名同学提交 第5页 本节目录  MapReduce开发流程  MapReduce设计模式  MapReduce算法实战  MapReduce程序调试 第6页 本节目录  MapReduce开发流程  MapReduce设计模式  MapReduce算法实战  MapReduce程序调试 第7页 MapReduce开发流程  算法设计 – 对解决问题的运算规则进行设计和规划的过程 – 关键在于如何找到问题的解决方法，并转化为一系列可 映射到map和reduce函数的计算过程 – 好的算法设计，可以有效提高计算速度和减少计算资源 消耗  map和reduce函数实现 – 实际开发过程中，开发人员还需要完成其他一些重要代 码进行编写，例如Partitioner、Combiner、 InputFormat、OutputFormat等 – 在集成开发环境 （Eclipse ）中进行以提高编码效率 – 应进行单元测试，以确保每个函数运行正确  本地测试 – 完整功能在单机上的测试  集群测试 – 确保在集群环境下对完整的数据集能得到正确的算结果 – 运行环境相对复杂、多个任务下程序逻辑复杂度增加、