《大数据基本处理框架原理与实践》PPT课件（共16次课）第四次课：Hadoop的数据类型与输入格式.pptVIP

第四次课：Hadoop的数据类型与MapReduce输入格式 刘春 计算机与信息工程学院数据科学系 河南省时空大数据产业技术研究院 河南大学 报告提纲 Mapper和Reducer类源码解析 Hadoop的数据类型 上节课知识点回顾 MapReduce的数据输入格式 什么是MapReduce 大数据的分布式存储：HDFS 分布式环境下的数据并行计算处理 MapReduce 什么是MapReduce Hadoop下的一个负责分布式计算的组件 一个软件系统，运行于HDFS之上 定义了一种实现分布式计算的框架 负责计算任务在集群中的分配调度、负载均衡、容错处理、网络通信等一系列问题 方便编程人员在不熟悉分布式并行编程的情况下，能够编写程序对分布式环境下的大数据进行处理 MapReduce分布式计算框架 MapReduce框架 将分布式环境下的并行大数据处理过程抽象为两个函数：map和reduce Map: key1,value1  key2, value2 Reduce: key2,value-list  key3, value3 MapReduce分布式计算框架 HDFS的数据块 一个Map函数过程 一个reduce函数过程 MapReduce与HDFS的关系 输入的大规模数据 分布式计算代码 分布式存储：分配数据到各个节点 HDFS 分布式计算：分配代码到各个节点 MapReduce Hadoop理念： 代码向数据迁移 MapReduce计算任务的特点 MapReduce适合的场景：待处理的大数据集可以分成不同的数据块，而且每个小数据块可以独立的并行的进行处理 MapReduce计算过程 三个阶段 MapReduce计算过程 Map阶段 输入：一个split 输入到map函数的输入：splitkey1,value1 Map函数处理：key1,value1key2,value2 输出：key2,value2 Split: 对map处理过程需要处理的数据集合的抽象描述 对应于map所在节点上的数据块 Hadoop会自动完成，但我们可以重载！ MapReduce计算过程 Shuffle阶段 Map端的Shuffle过程 reduce端的Shuffle过程 MapReduce计算过程 Reduce阶段 根据用户对reduce函数的定义，对每个新的key, value-list形式的键值对数据通过执行reduce函数进行处理 将最终的结果输出到文件系统 MapReduce的架构与运行流程 Hadoop资源管理器：yarn 任务管理进程 客户端 HDFS MapReduce程序示例--wordCount wordCount示例 任务：统计一个文本文件中每个单词的出现的次数 编程环境 IDEA+Maven 程序主要构成 一个Pom.xml文件 一个JAVA类文件 MapReduce程序示例--wordCount Pom.xml文件 ?xml version=1.0 encoding=UTF-8? project xmlns=/POM/4.0.0 xmlns:xsi=/2001/XMLSchema-instance xsi:schemaLocation=/POM/4.0.0 /xsd/maven-4.0.0.xsd modelVersion4.0.0/modelVersion   !-- 如下的groupID、artifactID、version标签都是建立maven项目时所要填写的信息。这些信息需要针对自己所建立的maven项目进行修改 -- groupIdcom.liu/groupId artifactIdWrodCount/artifactId version1.0-SNAPSHOT/version   !-- 示例所依赖的jar包都通过如下的标签给出 -- dependencies dependency groupIdorg.apache.hadoop/groupId artifactIdhadoop-common/artifactId version2.10.0/version /dependency ……. ……. dependency groupIdorg.apache.hadoop/groupId artifactIdhadoop-hdfs/artifactId version2.10.0/version /dependency dependency groupIdorg.apache.hadoop/groupId artifactIdhadoop-mapreduce-client-core/artifactId version2.10.0/version /dependency dependency groupIdor