虚拟化与网络存储技术 第7章 常见的分布式存储.pptxVIP

第7章 常见的分布式存储 HDFS分布式存储 HDFS简介 HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储，为超大数据集（Large Data Set）的应用处理带来了很多便利。 HDFS优点：高容错性，适合批处理，可构建在廉价机器上。 HDFS缺点：低延迟数据访问，小文件存取。 HDFS 架构 HDFS 架构 HDFS包含3种节点，NameNode(NN)，Secondary NameNode(SNN)，DataNode(DN)。以下分别介绍各个节点的功能: (1) NN节点功能 接收客户端的读写请求，NN中保存文件的Metadata数据(元数据是最重要的,元数据丢失的话，Datenode也就丢失)包括除文件内容外的文件信息。 （2） SNN节点功能 它的主要工作是帮助NN合并Edits Log,减少NN启动时间,另一方面合并会有大量的IO操作,但是NN最主要的作用是接收用户的读写服务的,所以大量的资源不能用来进行合并操作。 （3） 存储数据，启动DN线程的时候向NN汇报Block信息；通过向NN发送心跳保持与其联系(3秒1次),如果NN10分钟没有收到DN心跳,则认为其Lost,并Copy其上的Block到其他DN。 HDFS如何读数据 HDFS如何写数据 HDFS搭建和使用 一、实验目的 了解HDFS架构原理及其组件功能。 通过实验掌握HDFS文件系统的安装、配置和集群管理。 熟练掌握常见的HDFS运行管理命令行的使用。 二、实验内容 【实验24】：HDFS搭建和使用 实验架构图 二、实验内容 如上图所示，在node-1、node-2、node-3上部署HDFS文件系统，其中NameNode部署在node-1节点上，Secondarynamenode部署在node-2节点上，单节点DataNode部署在node-3节点上，启动集群，进行集群的维护，进行简单的文件上传、查看操作。 三、实验步骤 详细操作步骤见本书提供的操作视频。 【实验24】：HDFS搭建和使用 GlusterFS分布式存储 GlusterFS架构 HDFS 架构 GlusterFS搭建和使用 一、实验目的 了解GlusterFS架构原理及其组件功能。 通过实验掌握GlusterFS文件系统的安装、配置和集群管理。 熟练掌握GlusterFS文件的挂载。 二、实验内容 【实验25】：GlusterFS搭建和使用 GlusterFS实验流程图 三、实验步骤 详细操作步骤见本书提供的操作视频。 Lustre分布式存储 HDFS 架构 HDFS 架构 Lustre集群组件包含了MDS（元数据服务器）、MDT（元数据存储节点）、OSS（对象存储服务器）、OST（对象存储节点）、Client（客户端），以及连接这些组件的高速网络，如图所示。 （1）MDS（元数据服务器）提供元数据服务。MDS负责管理元数据，提供一个全局的命名空间，Client可以通过MDS读取到保存于MDT之上的元数据。在Lustre中MDS可以有2个，采用了Active-Standby的容错机制，当其中一个MDS不能正常工作时，另外一个后备MDS可以启动服务。 （2）MGS（管理服务器）提供Lustre文件系统的配置信息。 （3）OSS（对象存储服务器）Expose块设备并提供数据。接受并服务来自网络的请求。 （4）MDS/MGS和OSS/OST的集合有时称为Lustre服务前端（Lustreserver Fronts）， 而Fsfilt和Ldiskfs则被称为Lustre服务后端（Luster Server Backends）。 Lustre搭建和使用 一、实验目的 了解Lustre架构原理及其组件功能。 实验掌握Lustre文件系统的安装、配置和集群管理。 熟练掌握Lustre文件的挂载。 二、实验内容 【实验26】：Lustre搭建和使用 二、实验内容 【实验26】：Lustre搭建和使用 在3个节点node-1、node-2、node-3分别留有sdb空白硬盘，大小为20Gb,其中node-1节点为MDS索引服务器，node-2、node-3为OSD底层提供存储的服务器，node-4为测试客户端，通过安装、配置相关服务，启动集群，在nod