二零二三年 优质公开课Hadoop介绍3.pptx

Hadoop介绍-3 深入理解HDFS及MapReduce HDFS1MapReduce2 PART1HDFS 理解HDFSHDFS(Hadoop Distributed File System,Hadoop分布式文件系统）。它是一个不具备POSIX兼容性的文件系统，她是一个分布式文件系统，这意味着它在众多节点上扩大了存储。 HDFS-体系结构 HDFS-主要特点HDFS通常以最小64M的数据块存储文件。这比多数文件系统中的4KB-32KB分块大得多HDFS在时延的基础上对吞吐量进行了优化，它能够高效处理对大文件的读请求流，但不擅长对众多小文件的定位请求。HDFS对普通的“一次写入，多次读取”的工作负载进行了优化。每个存储点上运行着一个称为DataNode的主进程来协调，该进程运行于一台独立主机上。与磁盘阵列中设置物理冗余来处理磁盘故障或类似策略不同，HDFS使用副本来处理故障。每个由文件组成的数据块存储在集群中的多个节点，HDFS的NameNode不断地监视各个DataNode发来的报告，以确保发生故障时，任意数据块的副本数量都大于用户配置的复制因子。否则，NameNode会在集群中调度新增一个副本。 PART2MapReduce 理解MapReduceMapReduce建立在数学和计算机科学的众多基础工作之上，尤其适用于每个数据元素的数据操作的描述方法。实际上，map和reduce函数的概念直接来自于函数式编程语言。在该语言中，map和reduce函数被用于对输入数据列表进行操作。 理解MapReduce-任务分解 理解MapReduce-并行地对集群中的数据实施所需转换MapReduce实现了从源数据集到结果数据集的一系列转换。在最简单的情况下，作业的输入数据作为map函数的输入，所得到的临时数据作为reduce函数的输入。开发人员只需定义数据转换形式，Hadoop的MapReduce作业负责并行地对集群中的数据实施所需转换。 1.理解HDFS及其主要特点。2.理解MapReduce在任务分解及数据转换中起的作用。