MapReduce例子.doc

硕 士 研 究 生 实 践 报 告 题 目 IBM期末大作业 作者姓名 贾志远 作者学号 指导教师 大江老师 学科专业 软件工程 所在学院 软件学院 提交日期 二○一五年十一月 一 题目要求 我们的项目背景是，可穿戴设备的实时数据分析。1.txt记录的是某一个用户的心跳周期数据，每一个数值表示一次心跳的周期，单位是秒。例如，0.8表示用户当时的心跳间隙是0.8秒。心跳间期按照顺序存储。 利用Hadoop的MapReduce框架编写程序，计算出总测量时间和平均心跳间期，即求和与求平均。请写出程序，并在实验报告中简单描述你的思路。 探索Spark的Transformation中的mapPartition，写出示例程序，并思考何时会用到mapPartition，为什么要用它？ 探索Spark的Transformation中的flatMap，写出示例程序，并思考何时会用到它，为什么要用到它。 （选做）SD1和SD2是表征心率变异性的一种指标。结合发给你们的论文，用Java或者Scala实现SD1和SD2的计算（不用考虑并行化，普通的Java或Scala程序即可）。 （选做）假设我们同时监控100个用户的心率，是否能够利用Spark的RDD的特性，并行地计算SD1和SD2?（提示:把每一个用户的心率数据作为RDD里面的一个元素，RDD中不同的元素表示不同用户的心率数据，利用map对每一个用户的心率数据进行并行分析）。请描述设计思路，并尽可能实现一个多用户心率监控的计算程序。 作业要求：提交源代码，并提交一份简单的实验报告，包括程序的思路和对前面提出问题的简要回答。请于11/20前交给班长，并由班长统一发给我。 有问题的话可以QQ或者微信找我:215918152，但是希望到我这里的问题都能够有一定技术含量:P 系统配置等初级问题请自行找牛逼的同学帮忙解决。 二 题目实现 第一题： 本题就是利用Hadoop的MapReduce框架编写程序，计算出总测量时间和平均心跳间期，即求和与求平均，程序代码如下： public class Heart extends Configured implements Tool { private final static Text COUNT = new Text(count); public static class HeartMapper extends MapperObject, Text, Text, FloatWritable { public void map(Object key, Text value, Context context) throws IOException, InterruptedException { String LENGTH = value.toString(); context.write(COUNT, new FloatWritable(Float.parseFloat(LENGTH))); } } public static class HeartReducer extends ReducerText, FloatWritable, Text, FloatWritable { private FloatWritable sum = new FloatWritable(); public void reduce(Text key, IterableFloatWritable values, Context context) throws IOException, InterruptedException { float theSum = 0; int count = 0; for (FloatWritable val : values) { theSum += val.get(); count++; } sum.set(theSum); float mean = theSum / count; context.write(new Text(sumHeartRate ), sum); context.write(new Text(avgHeartRate ), new FloatWritable( mean)); } } public static void main(String[] args) throws Exception { T