企业应用云存储技术探索.pdfVIP

企业应用云存储技术探索 文/上海海鼎信息工程股份有限公司 李希明 前言 “云计算将带来一场革命”。在如今这个概念满天飞的时代，这是否又是一次商业炒作？ 本文不想对此进行评论，而更愿意关注这背后带来的变化。技术革命一定是源于某项技术突 破，那么云计算又是源于何？从技术的视角看，云计算所突破的就是海量存储技术以及在此 基础上的并行计算技术的突破。正是这些突破，造就了诸如 Google、Facebook、Twitter 这 些新兴互联网企业。另一方面企业信息系统正日益变得复杂与庞大，上述技术突破展现出来 的几乎无限的扩展、海量计算以及高可用的特性正是企业所迫切需要的。 本文将就企业信息系统中如何更好应用上述技术进行探索。在讨论云存储技术的之前， 我们来回顾一下现在企业所使用的关系型数据库所存在的问题。 一、关系型数据库的问题 1970 年IBM 的Edgar F. Codd 博士发表一篇著名的论文《一种用于大规模共享数据存储 系统的关系数据模型》，由此奠定了现在诸如Oracle、MSSQL、MySQL、Postgres 等关系型数 据库的理论基础。40 年过去了，关系型数据库不可辩驳地坐上了数据世界中的头把交椅。 如此成功的技术会有什么问题？ 问题来自于访问量急剧增长所带来的可扩展性。所有具有最基本功能的关系型数据库都 会支持join 操作，不过join 操作可能会很慢。由于数据库通常依靠事务来保证一致性，而事 务需要锁住数据库的一部分，使之不能被其他用户访问。因为锁本身意味着竞争同一数据的 用户会被放入队列，等待获得读写权限，这在高负荷的情况下可能会成为系统的死穴。 通常我们会用下面几种方法解决上述问题：  提升硬件能力，如增加内存、用更快的处理器或硬盘，这被称之为垂直扩展，可解 一时之忧。  增加新的计算机，构成数据库集群。不过，这样就会在正常使用及故障时遇到数据 复制与一致性问题。  更新数据库管理系统的配置。例如要优化数据用来写底层文件系统的通道。  审视自己的应用，优化索引、优化查询。不过，当我们的应用达到这个规模的时候， 恐怕不太会完全没有做过索引和查询优化。那么，只好重新审视所有数据库的访问 代码，想发现零星的可以调优的机会，这是一件相当头疼的事情。  增加一个缓存层。现在我们又需要面临更新缓存和更新数据库的一致性问题了，对 于集群来说，问题更加严重了。  审视我们想要的查询，复制那些访问频率较高的数据，让它们更接近于查询想要得 到的形式，这个过程被称为反范式化，也就是说违反了Codd 提出的关系模型12 条 准则。这时我们只能安慰自己说我们是生活在现实世界之中。 这一幕是何等熟悉，现如今的企业应用的规模已经远不是 Codd 提出关系模型的年代所 1 能够想象的。TB 级别的数据库已经并不罕见，一些数据表动辄上亿条记录，甚至几十亿条 记录。笔者遇到的一位客户仅每年增长的数据量就达到了3TB，要知道这一数据在5 年前仅 有大约500GB 。这样的数据量已经开始给构建在此之上的企业应用造成巨大的压力。我们接 下来看看云存储技术又是如何解决这一问题的。 二、云存储技术带来什么 云存储技术最早来源于那些互联网企业，这也是可以理解的，毕竟这些企业所面临的访 问量也是之前任何应用所不曾遇到的。从一个数据就可以得知：现在支付宝每天新增的记录 数为3 亿条。显然这样的数据量以及在此之上的运算，不是传统关系型数据库可以支撑的了。 这里所说的云存储技术并非特指某项技术，而是一大类技术的统称，一般来自只要是具 有以下特征的数据库都可以被看作是云存储技术。首先是几乎无限的扩展能力，可以支撑几 百TB 直至PB 级的数据；然后是采用了并行计算模式，从而获得海量运算能力。简而言之， 就是当计算能力不足，无论是存储还是运算，对于需求提出方而言，就是简单的增加机器即 可实现。更进一步的特征便是高可用性，也就是说，在任何时候都能够保证系统正常使用， 即便有机器发生故障。目前常见的符合这样特征的系统，有 Google 的GFS 以及BigTable， Apache 基金会的Hadoop （HDFS 和HBase），最初来自于Amazon 现在也属于