数据存储技术在云环境下应用特性分析.docVIP

数据存储技术在云环境下应用特性分析 　　【摘 要】随着IT系统向云计算技术方向演进，数据存储应用需求也出现了显著的变化特点，传统的数据存储已不能满足云时代的需要。为解决云时代的数据存储问题，首先分析了传统数据存储应用技术现状，接着在此基础上分析了块存储、分布式存储、对象存储、表存储等非结构化和结构化存储技术在云计算环境中的不同应用及性能特点，为云时代的数据存储技术提供建议。 　　【关键词】云计算 云存储 块存储 结构化存储 　　1 传统数据存储应用现状 　　随着社会信息时代的快速发展，用户对存储的需求增长迅速。在进入云环境的时代，传统IT系统存储技术面临建设成本高、运维复杂、扩展性有限等问题的挑战，系统存储扩容压力很大，主要表现在以下几个方面：首先，传统存储开放性不足，通常采用软硬件一体化解决方案，标准化程度低，不同厂家系统无法混合使用；其次，成本较高，且市场垄断严重，建设成本居高不下，扩容成本尤其高；再者，扩展性能较差，其单点扩展存在容量上限和接口带宽等限制，面对云时代PB级的海量存储需求，在容量和性能的扩展上无法满足。 　　长期以来，传统IT系统存储一直存在诸多资源配置不合理的状况，带来资源浪费。一些系统不考虑数据的价值和访问方式，统一放在磁盘阵列或NAS中，相对于云存储缺少性能、扩展性和低成本的优势。而另有一些系统对磁盘I/O性能要求并不太高，却仍然采用FC SAN建设，造成建设成本的浪费。大部分系统没有区分应用对磁盘可靠性的要求，统一使用SAS磁盘，将SATA盘排除在外，造成一定的浪费。 　　传统的块存储承载传统关系数据库，在应对大数据环境下高性能应用系统，特别是超大规模和高并发的业务系统已经显得力不从心，暴露出很多难以克服的问题。传统关系数据库稳定性高，使用简单，功能强大，久经历史考验，积累了大量的成功案例。但是，随着网络技术和软件技术的飞速发展，网站也开始快速发展，近几年比较火爆的论坛、博客、SNS、微博逐渐引领Web领域的潮流。随着访问量的急剧上升，几乎大部分使用传统数据库的网站都开始出现了性能问题。Web程序也不再仅仅专注在功能上，同时也在追求性能，虽然后来MySQL的集群技术和Memcache的缓存技术使得MySQL架构在一定程度上缓解了性能的压力，但最终还是因为其扩展性差（需要比较复杂的技术来实现），承受着大数据下的I/O压力，因此依然面临着很大的问题。 　　传统的关系型数据库系统并不能提供这些应用所需要的高可扩展性，新型的网络应用又不像金融等领域那样需要严格的数据一致性和很强的事务特性，而是对海量数据的松散结构表示以及可用性与可扩展性提出了更高的要求。很多研究学者与互联网公司早已开始寻求新的数据存储和管理架构，并试着弱化数据管理系统在一致性和事务性方面的要求，向着系统可用性和可扩展性方面努力，使之成功运用到后端系统中。 　　2 云环境下数据存储需求特点 　　随着现代信息网络技术发展，数据信息总量正呈指数级爆炸式增长，在如此大量数据产生的时代，用户的数据存储需求具有全新的特点： 　　（1）对数据库高并发读写的需求 　　随着互联网应用的发展，Web 2.0应用强调的是以用户为主，需要根据用户个性化信息来实时生成动态页面和提供动态的信息，目前比较流行的微博就是如此。该类应用对数据库的并发访问的负载就非常高，往往能达到每秒上万次的读写请求，甚至更多。从已有的优秀的数据库产品看来，对于上万次SQL查询还能勉强应付，但是应付上万次SQL写数据请求时，I/O成了瓶颈。 　　（2）对海量数据的高效率存储和访问的需求 　　以Facebook为例，它一个月就达到了2.5亿条用户动态，对于关系数据库来说，在一张拥有2.5亿条记录的表里面进行SQL查询，效率是极其低下乃至无法忍受的。在未来大数据时代，海量数据的高效存储和访问是必须要解决的问题。 　　（3）对数据库的高可扩展性和高可用性的需求 　　在基于Web的架构中，数据库是最难进行横向扩展的，当一个Web应用的用户量和访问量与日暴增时，数据库服务器却没办法像Web Server那样简单地通过更多的硬件和服务节点来进行性能扩展与负载分担。对于很多需要不间断提供服务的网站来说，由于这样的升级需要停机维护和数据迁移，将使用户体验值急剧降低。 　　（4）支持非结构化数据的处理能力的需求 　　传统的关系型数据库对数据的处理和数据类型有比较明确的限制，只针对某些数据类型，如整型数字、字符、字符串等，而对类似图片、音视频的非结构化数据的支持不够，无法满足未来用户对各种各样类型数据的需求。 　　对于以上数据存储应用需求，传统存储应用技术是无法胜任云计算环境下应用需求的。云存储技术的发展结合了各种存储技术应用的特点，在容错、吞吐量、冗余、读写分布、数据划分