浪潮 第6章 分布式计算框架MapReduce.pptVIP

输出处理类 OutputFormat继承关系如下所示。 * MapReduce综合案例 案例描述 在nba.csv文件中记录了NBA历年总冠军的详细情况，文件的字段从左向右依次为比赛年份、具体日期、冠军、比分、亚军和当年MVP，如下所示。 * MapReduce综合案例 案例需求 数据清洗 统计各球队获得冠军数量；并将东西部球队的统计结果分别存储。 使用自动以OutputFormat实现多文件存储，将东区、西区和没有分区的数据分别保存在三个文件中 去掉NBA开始东西分区之前的数据，仅将开始分区之后的数据进行分区存储 * MapReduce综合案例 数据清洗 描述 NBA的历史较为久远，从1947年至2019年的这段时间里，一些球队已经不存在了（例如：芝加哥牡鹿队），还有部分球队的队名发生了变化（例如：明尼阿波利斯湖人队，现在的名称是洛杉矶湖人队）；所以，对于已经不存在的球队，继续保存其名称，不做修改；但是已经更改名称的球队，需要映射为现在球队的名称； 另外，因为要对球队进行东西分区的统计，所以要对球队添加东西分区的标识。 解题思路 添加球队新老名称的映射，读取每行数据时，遇到老的名称，将其替换为新名称；添加东西分区球队的映射，读取数据时，分析冠军球队所在分区，然后添加标识（东部球队以“E”标识，西部球队以“W”标识）。需要注意的是，美国NBA联盟是从1970年开始进行东西分区的，因此需要对年份进行判断。 * MapReduce综合案例 统计各球队获得冠军数量；并将东西部球队的统计结果分别存储 要统计各球队获得冠军的数量，基本思路与前面wordcount程序的逻辑是一致的，在map阶段解析出冠军球队的名称作为键，以一个值为1的IntWritable对象作为值，然后传递给reduce，在reduce部分做相加操作即可。 另外统计结果需要根据东西区来分文件存储，因此相对wordcount要稍微复杂。通过已给出并清洗后的数据集可知，应该分为东区、西区和未分区三个文件存储，因此需要自定义Partitoner，并根据分区标识来判断每行数据需要进入哪个分区。 指定reduce的个数，通过job.setNumReduceTasks(3)来设置reduce的数量为3个。 * MapReduce综合案例 使用自定义OutputFormat来实现多文件存储 OutputFormat是MapReduce框架用于数据输出的抽象父类，FileOutputFormat类继承了OutputFormat，用于定义文件的输出，在reduce阶段，默认的输出类是继承了FileOutputFormat的TextOutputFormat，我们可以通过继承FileOutputFormat来实现自己的输出逻辑。 去掉NBA开始东西分区之前的数据 在前面两个示例中，都实现了数据的多文件存储，但由于本案例的要求是只将东西分区的数据分文件存储，因此单独保存1970年之前的数据有些多余。去掉这些多余的数据非常简单，只需要在示例2和3的map方法中进行过滤即可，但更好的方式是自定义InputFormat类，实现在数据进入map方法之前就将其去掉。 InputFormat是MapReduce框架进行数据读取的抽象父类，FileInputFormat继承了InputFormat，主要用于文件的读取。框架默认使用的是继承了FileInputFormat的TextInputFormat，我们可以继承FileInputFormat来实现自己的输出逻辑。 * 本讲总结 MapReduce概述 MapReduce处理过程 Combiner Partioner MapReduce的输入处理类 MapReduce的输出处理类 MapReduce综合案例 * 谢谢 * * * Inspur Group Inspur Education Inspur Education Inspur Group Inspur Education Inspur Group Inspur Education Inspur Group Inspur Education Inspur Education Inspur Group Inspur Education Inspur Group Inspur Education Inspur Group Inspur Education Inspur Education 第6章 分布式计算框架MapReduce * 知识点回顾 YARN产生背景 YARN在共享集群模式中的应用 YARN的基本架构 YARN