HDFS文件系统.pptxVIP

HDFS,MapReduce和Common概论 1470825 王舒艺 Hadoop HDFS,MapReduce和Common是Hadoop的核心模块，其中HDFS提供了海量数据的存储，MapReduce提供了对数据的计算，Common提供了一系列文件系统和通用I/O的文件包，这些文件包供HDFS,MapReduce及其他模块公用 一、HDFS的主要设计理念 1、存储超大文件   这里的“超大文件”是指几百MB、GB甚至TB级别的文件。 2、最高效的访问模式是 一次写入、多次读取   HDFS存储的数据集作为hadoop的分析对象。在数据集生成后，长时间在此数据集上进行各种分析。每次分析都将设计该数据集的大部分数据甚至全部数据，因此读取整个数据集的时间延迟比读取第一条记录的时间延迟更重要。 3、运行在普通廉价的服务器上 HDFS设计理念之一就是让它能运行在普通的硬件之上，即便硬件出现故障，也可以通过容错策略来保证数据的高可用。 二、HDFS基本概念 数据块（block）：大文件会被分割成多个block进行存储，block大小默认为64MB。每一个block会在多个datanode上存储多份副本，默认是3份。 namenode：namenode负责管理文件目录、文件和block的对应关系以及block和datanode的对应关系。 datanode：datanode就负责存储了，当然大部分容错机制都是在datanode上实现的。 三、HDFS基本架构图  基于HDFS的云存储在高校信息资源整合中的应用  高校对于云存储系统是一个用户，而高校内部有多个部门，相对于云存储系统的用户高校来说是一个子用户。云存储系统能够创建、管理、维护高校云存储用户；高校云用户能够创建、管理、维护各部门子用户。而子用户才是真正的终端信息存储用户，他们上传、下载、删除数据信息。由于我们的这个系统是基于HDFS的，而一个基本的HDFS由一个NameNode和n个DataNode组成。可以将本文描述的分布式文件系统(DFS)抽象成一个三级模型 MapReduce数据流(data flow) MapReduce的处理过程主要涉及以下四个部分： 客户端Client：用于提交Map-reduce任务job JobTracker：协调整个job的运行，其为一个Java进程，其main class为JobTracker TaskTracker：运行此job的task，处理input split，其为一个Java进程，其main class为TaskTracker HDFS：hadoop分布式文件系统，用于在各个进程间共享Job相关的文件 MapReduce主要技术特征 1)向外横向扩展，而非向上纵向扩展 2)失效被认为是常态 3)把处理向数据迁移 4)顺序处理数据、避免随机访问数据 5)为应用开发者隐藏系统层细节 6)平滑无缝的可扩展性 MapReduce的应用 一个简单的统计每个字符数量  Common 结构学习  Hadoop Common在 Hadoop1.0 中是在 core 包下面的。此包下面的内容供 HDFS 和 MapReduce 公用，所以作用还是非常大的。 Hadoop Common 模块下的内容是比较多的。 程序包下的主要模块关系图 1. org.apache.hadoop.conf ，配置相关类  2. o rg.apache.hadoop. fs,Hadoop 文件系统 3. o rg.apache.hadoop. io,Hadoop I/O 系统