大数据技术及应用教学课件第3章-大数据存储技术.pptxVIP

第3章大数据存储技术大数据技术及应用教学课件第3章-大数据存储技术全文共34页，当前为第1页。主要内容 数据仓库 数据库 存储技术的发展分布式文件系数据技术及应用教学课件第3章-大数据存储技术全文共34页，当前为第2页。3.1 存储技术的发展数据存储介质分为磁带、磁盘和光盘三大类，由三种介质分别构成磁带库、磁盘阵列、光盘阵列三种主要存储设备，三种存储介质各有特点。磁盘设备由于存取速度快、数据查询方便、简单易用、安全的磁盘阵列技术等占据一级存储市场的主要份额磁带设备以技术成熟、价格低廉等优势占据了二级存储市场的重要地位光盘设备同时具有二者特点磁盘阵列（Redundant Arrays of Independent Disks，RAID），它由很多价格便宜的磁盘组成巨大的磁盘组，利用个别磁盘提供数据所产生加成效果提升整个磁盘系统效能。大数据技术及应用教学课件第3章-大数据存储技术全文共34页，当前为第3页。3.1.1 传统存储技术直连式存储（Direct Attached Storage，DAS）是最为常见的存储形式之一。DAS存储是通过服务器内部直接连接磁盘组，或者通过外接线连接磁盘阵列。这种方式通常需要通过硬件RAID卡或者软RAID的方式实现磁盘的冗余保护，防止由于磁盘故障导致整个存储系统的不可用而丢失数据。大数据技术及应用教学课件第3章-大数据存储技术全文共34页，当前为第4页。3.1.1 传统存储技术网络储存设备（Network Attached Storage，NAS），是通过以太网方式接入并进行访问的存储形式。DAS存储是通过服务器内部直接连接磁盘组，或者通过外接线连接磁盘阵列。这种方式通常需要通过硬件RAID卡或者软RAID的方式实现磁盘的冗余保护，防止由于磁盘故障导致整个存储系统的不可用而丢失数据。NAS存储设备可以直接连接在以太网中，之后在该网络域内具有不同类型操作系统的主机都可以实现对该设备的访问。使用者可以通过某种方式（例如linux下的mount命令）将存储服务挂载到本地进行访问，在本地呈现的就是一个文件目录树。我们所熟悉的NFS（Network File System）其实就是一种NAS存储形式，NFS服务器就是NAS存储设备。我们可以通过开源软件搭建该种类型的存储设备，当然市面上也有很多成熟的产品。大数据技术及应用教学课件第3章-大数据存储技术全文共34页，当前为第5页。3.1.2 分布式存储分布式存储架构由三个部分组成：客户端、元数据服务器和数据服务器。客户端负责发送读写请求，缓存文件元数据和文件数据。元数据服务器负责管理元数据和处理客户端的请求，是整个系统的核心组件。数据服务器负责存放文件数据，保证数据的可用性和完整性。大数据技术及应用教学课件第3章-大数据存储技术全文共34页，当前为第6页。3.1.2 分布式存储Hadoop Distributed File System，简称HDFS，是Hadoop架构下的一个分布式文件系统。HDFS是Hadoop的一个核心模块，有着高容错性、高吞吐量等优点，并且设计用来部署在低廉的硬件上，能够提供高吞吐量来访问应用程序的数据，适合那些有着超大数据集的应用程序。大数据技术及应用教学课件第3章-大数据存储技术全文共34页，当前为第7页。3.2.1 HDFS相关概念1.块（block）所有文件都是以块的形式存储在磁盘中，文件系统每次只能操作磁盘块大小的整数倍数据，HDFS中一般默认块大小为64MB。2.元数据元数据信息包括名称空间、文件到文件块的映射、文件块到数据节点的映射三个部分。3.名称节点（NameNode）NameNode是HDFS系统中的管理者，负责管理文件系统的命名空间，记录了每个文件中各个块所在的数据节点的位置信息，维护文件系统的文件树及所有的文件和目录的元数据。这些信息以两种数据结构存储在本地文件系统中，即FsImage和EditLog。大数据技术及应用教学课件第3章-大数据存储技术全文共34页，当前为第8页。3.2.1 HDFS相关概念4.辅助名称节点（Secondary NameNode）是NameNode发生故障时的备用节点，主要功能是进行数据恢复,它的职责是合并NameNode的EditLog到FsImage文件中。 Secondary NameNode工作原理大数据技术及应用教学课件第3章-大数据存储技术全文共34页，当前为第9页。3.2.1 HDFS相关概念大数据技术及应用教学课件第3章-大数据存储技术全文共34页，当前为第10页。5.数据节点（DataNode）DataNode根据需要存储并检索数据块，受客户端或NameNode调度，并定期向NameNode发送它们所存储的块的列表。同时，它会通过心跳定时向Name