《云计算与大数据技术知识》第4章-集群系统基础.ppt

4.5　集群文件系统 4.5.1　集群文件系统概念 数据的存储一直是人类在不懈研究的内容之一，最早的原始人类采用结绳记事的方式实现数据的记录和存储，后来中国商代利用甲骨作为信息存储的载体（如图4.3所示）； 图4.3　信息存储载体—甲骨 4.5.1　集群文件系统概念 竹简作为的信息载体的时代大约出现在西周和春秋时期，竹简是中国历史上使用时间最长的信息记录载体之一； 公元二世纪初，东汉蔡伦改进造纸术成功，纸张从此在长达一千多年的时间里成为了主要的信息记录载体，直到今天我们仍然在使用纸张这一信息记录载体。 计算机的出现使信息的记录方式再次发生了巨大的变化，计算机的信息记录方式从穿孔纸带、磁带、磁鼓到硬盘、光盘、Flash芯片，几十年的时间使人类对信息的记录能力实现了多个数量级的跃迁。 4.5.1　集群文件系统概念 信息记录方式可以说一直伴随着人类历史的发展，云计算技术的发展文件系统技术是其中的重要部分，数据的存储方式对云计算系统架构有着重要的影响。 传统的存储方式一般是基于集中部署的磁盘阵列，这种存储方式结构简单使用方便，但数据的集中存放在数据使用时不可避免地会出现数据在网络上的传输，这给网络带来了很大的压力。 随着大数据技术的出现，面向数据的计算成为云计算系统需要解决的问题之一，集中的存储模式更是面临巨大的挑战，计算向数据迁移这种新的理念，使集中存储风光不在，集群文件系统在这种条件下应运而生。 目前常用的HDFS、GFS、Lustre等文件系统都属于集群文件系统。 4.5.1　集群文件系统概念 集群文件系统存储数据时并不是将数据放置于某一个节点存储设备上，而是将数据按一定的策略分布式地放置于不同物理节点的存储设备上。 集群文件系统将系统中每个节点上的存储空间进行虚拟的整合，形成一个虚拟的全局逻辑目录，集群文件系统在进行文件存取时依据逻辑目录按文件系统内在的存储策略与物理存储位置对应，从而实现文件的定位。 集群文件系统相比传统的文件系统要复杂，它需要解决在不同节点上的数据一致性问题及分布式锁机制等问题，所以集群文件系统一直是云计算技术研究的核心内容之一。 4.5.1　集群文件系统概念 在云计算系统在采用集群文件系统有以下几个优点： （1）由于集群文件系统自身维护着逻辑目录和物理存储位置的对应关系，集群文件系统是很多云计算系统实现计算向数据迁移的基础。利用集群文件系统可以将计算任务在数据的存储节点位置发起，从而避免了数据在网络上传输所造成的拥塞。 （2）集群文件系统可以充分利用各节点的物理存储空间，通过文件系统形成一个大规模的存储池，为用户提供一个统一的可弹性扩充的存储空间。 4.5.1　集群文件系统概念 （3）利用集群文件系统的备份策略、数据切块策略可以实现数据存储的高可靠性以及数据读取的并行化，提高数据的安全性和数据的访问效率。 （4）利用集群文件系统可以实现利用廉价服务器构建大规模高可靠性存储的目标，通过备份机制保证数据的高可靠性和系统的高可用性。 4.5.2　典型的集群文件系统Lustre Lustre是一个应用广泛的集群文件系统，Lustre系统适合作为并发要求不是很高的云平台的存储模块，因为所有的数据请求都会经过Lustre系统元数据服务器。 元数据服务器里存放着文件系统的整个基本信息，负责管理整个系统的命名空间，并维护整个文件系统的目录结构、文件名、文件的用户权限，还负责维护文件系统数据的一致性。这就有可能造成整个数据传输在高并发时的瓶颈。 因此，Lustre存储系统最适合的应用场景为：数据请求传输并发不是太高但数据量很大的云平台，例如HP公司的“StorageWorks Scalable File Share”（HP SFS，可扩展文件共享），是首款采用Lustre技术的商业化产品，而英特尔公司在2013年也表示，在发布的Hadoop发行版2.5版本中加入对Lustre的支持能力。 Lustre存储系统具备支撑大数据存储的能力。 4.5.2　典型的集群文件系统Lustre Lustre存储系统是高性能分布式存储领域中最为著名的系统之一，在全球，有过半的超级计算中心使用Lustre存储系统，随着Lustre存储系统的发展，越来越多的中大型计算中心和集成平台都在采用Lustre存储系统。 追溯其起源，Lustre名字是由Linux和Clusters派生而来，是为解决海量存储问题而设计的全新文件系统，是HP、Intel、Cluster File System公司联合美国能源部开发的Linux集群并行文件系统，它来源于卡耐基梅隆大学的NASD项目研究工作。 Lustre是基于对象的存储系统，能支持10000个节点，PB级别的存储量，峰值达到100GB/s的传输速度，是一个优秀的安全可靠、易于管理的大数量级高性能