云存储技术分析与应用.pptx

分布式存储技术整体分析与研究应用唐卓 博士 副教授 湖南大学信息科学与工程学院2015 年 9 月传统存储技术壁垒 传统的块存储承载Oracle、MySQL等关系数据库，在应对大数据环境下高性能应用系统，特别是超大规模和高并发的业务系统已经显得力不从心，暴露出很多难以克服的问题: 1、传统的关系数据库具有不错的性能，高稳定型，久经历史考验，使用简单，功能强大，同时也积累了大量的成功案例。在互联网界，因为其开源和出色的性能，MySQL作为很多网站数据管理的首选。但是，随着网络技术和软件技术的飞速发展，网站开始快速发展，近几年比较火爆的论坛、博客、 SNS、微博逐渐引领Web领域的潮流。随着访问量的急剧上升，几乎大部分使用传统数据库的网站都开始出现了性能问题。 2、Web程序不再仅仅专注在功能上，同时也在追求性能，虽后来MySQL的集群技术和Memcache的缓存技术，使得MySql架构在一段时间缓解性能的压力，但最终还是因为其扩展性差(需要比较复杂的技术来实现)，在承受大数据下的I/O压力，面临着很大的问题。 3、传统的关系型数据库系统并不能提供这些应用所需要的高可扩展性，新型的网络应用又不像金融等领域那样需要严格的数据一致性和很强的事务特性，而是对海量数据的松散结构表示以及可用性和可扩展性提出了更高的要求，很多研究学者和互联网公司早已开始寻求新的数据存储和管理架构，并试着弱化数据管理系统在一致性和事务性方面的要求，向着系统可用性和可扩展性方面努力，互联网公司更是推出自己的产品，并成功运用到自己的后端系统中。云存储产生背景 第一，对数据库高并发读写的需求。Web2.0应用强调的是以用户为主，需要根据用户个性化信息来实时生成动态页面和提供动态的信息，目前比较流行的微博就是如此，对数据库的并发访问的负载就非常高，往往能达到每秒上万次的读写请求，甚至更多。从已有的优秀的数据库产品看来，在应付上万次SQL查询还能勉强应付，但是应付上万次SQL写数据请求时， I/O成了瓶颈。 第二，对海量数据的高效率存储和访问的需求。以FACEBOOK为例，一个月就达到了2. _5亿条用户动态，对于关系数据库来说，在一张拥有2._5亿条记录的表里面进行SQL查询，效率是极其低下乃至无法忍受的。 第三，对数据库的高可扩展性和高可用性的需求。在基于Web的架构中，数据库是最难进行横向扩展的，当一个Web应用的用户量和访问量与口俱增的时，数据库服务器却没办法像Web Server那样简单的通过更多的硬件和服务节点来进行扩展性能和分担负载。很多需要不间断提供服务的网站来说，因为这样的升级需要停机维护和数据迁移，对用户体验值急剧降低。 第四，支持非结构化数据的处理能力的需求。传统的关系型数据库对数据的处理，对数据类型有比较明确的限制，只针对某些数据类型，如整型数字，字符及字符串等，对类似图片，音视频的非结构化出具的支持不够2564133333汇报目录 存储类型 块存储 分布式文件存储 对象存储 表存储 数据迁移策略存储类型直接附加存储DAS块存储IP SAN存储域网络SANFC SAN网络附加存储NAS分布式文件存储存储类型Google文件系统GFSHadoop分布式文件系统BC-oNest对象存储Amazon S3日志详单类存储BigTableNoSQL存储HBase表存储OLTP关系数据库OLAP数据仓库2514633333汇报目录 存储类型 块存储 分布式文件存储 对象存储 表存储 数据迁移策略块存储技术（1）系统目标：为现有各种应用提供通用的存储能力块存储将存储区域划分成固定大小的小块，是传统裸存储设备的存储空间对外暴露方式。块存储系统将大量磁盘设备通过SCSI/SAS或FC SAN与存储服务器连接，服务器直接通过SCSI/SAS或FC协议控制和访问数据。块存储方式不存在数据打包/解包过程，可提供更高的性能。传统设备的块存储面向的是单一的物理设备在云计算环境下，块存储设备面临着分布式环境索引节点存储节点1存储节点直接索引1数据块直接索引2数据块数据块直接索引3数据块数据块直接索引4数据块数据块直接索引5存储节点2直接索引6数据块数据块目录索引数据块数据块数据块目录索引数据块数据块块存储技术（2）块存储技术特点基于传统的磁盘阵列实现，对外提供标准的FC或iSCSI协议数据访问特点：延迟低、带宽较高、但可扩展性差应用系统跟存储系统耦合程度紧密以卷的方式挂载到主机操作系统后，可格式化文件系统，或以裸数据或文件系统的方式作为数据库的存储块存储主要适用场景为一些高性能，高IO的企业关键业务系统（如企业内部数据库）提供存储。块存储本身可以通过多个设备堆叠出更大的空间，但受限于数据库的能力，通常只能支持TB级数据库应用可为虚拟机提供集中存储，包括镜