Cassandra基于云计算存储模式的键值数据库应用研究.docVIP

Cassandra基于云计算存储模式的键值数据库应用研究根据IDC的数据，到201年云存储服务的增长率预计将超过所有其他IT云服务。在未来四年内，云服务的市场规模将从现在的174亿美元增长到442亿美元，其中云存储的市场比例将从目前的9%增长到14%，也就是说云存储的市场规模将接近62亿美元五云存储服务苹果iCloudGoogle Gmail和Picasa、亚马逊Cloud DriveWindows Live SkyDrive以及Dropbox，各自产品的特点如下表所示。云存储服务5GB 所有类型，单个文件大小有限制 简单易用，速度快 PC,Mac,iOS 是 免费 (iTunes match除外)16TB 所有类型，单个文件大小有限制 应用分散，速度慢 Android,PC,Mac, Windows,Linux 是 免费，超出部分$0.25/GBTB 所有类型，单个文件大小无限制 管理简单，速度慢 Android,PC,Mac 否 5GB免费，超出之后$1/GB25GB 所有类型，单个文件大小有限制 简单易用，速度慢 PC,Mac,Windows 否 25GB免费Dropbox 100GB 所有类型，单个文件大小无限制 简单易用，速度快 Android,PC,Mac, Windows,Linux 是 2GB免费，超出部分$2/GB据预测，在未来几年，国内云存储业务市场的年复合增长率将达到103%。国内云存储业务市场规模由2009年的605万美元快速增长至2014年的2.1亿美元。 图1-1 国内云存储市场规模和增长率 目前，国内云存储市场呈现华为DBank、新浪微盘、金山快盘“三足鼎立”时代，其各自产品的特点如下所述。 （1）以传统硬件制造商为主导的代表，华为数据银行“DBank”。华为雄厚的资金实力和完备的硬件支持绝对是其挺进云存储领域的资本，也是令其他公司可望而不可及的资源。但同时，如何提升商业运作能力，如何面对普通大众消费市场推出体验优秀的产品，以及如何将自身的硬件优势逐步向软件方面拓展，是华为接下来必须着力提升的。 （2）以门户网站巨头为主导的代表，新浪“微盘”。凭借与新浪微博的良好支持（使用微盘分享文件给微博好友，具有病毒效应，且能提高粉丝数量），微盘在短时间内吸引了不少微博用户的眼球，官方微博的粉丝数量也一路蹿升。但目前微盘的功能仍显薄弱，在业务型台上也较为依赖微博的影响力，后续新浪将如何推广，使其成为能独当一面的新业务，将是一个值得深入探讨的问题。 （3）以云端化的传统应用工具为主导的代表，金山“快盘”。曾是国人骄傲的金山WPS近几年一直在寻求业务的突破和转型，在引入WPS在线办公空间的概念后，已先于竞争对手微软成为了自身集成云端化的在线办公协作工具。几乎与华为DBank同期出道的“快盘”，也一直保持着快速发展的势头，目前已经先后推出了PC版、Android版、iPad版、便携版等，产品线拓展得最快也最全。但金山毕竟是一家做应用软件起家的公司，迈向在线领域既无硬件设备的积累，也无巨头手中的资源，面对的营收压力也高于上述二者。如何在巨头林立的行业中以“小”搏“大”，是快盘需要突破的一大难点。 1.2本课题的研究意义与创新点 国内外各大厂商的云存储产品虽多且都具有相当的规模，但其缺点也十分明显。 （1）因为涉及到自身云存储产品的版权以及同业竞争，所以各大厂商均未公开自己的具体实现技术，只是在向终端用户提供的服务领域进行比拼。这种各自为战的情况不利于业内的技术交流和合作，同时很难形成统一的云存储领域的技术标准，从而加剧云存储市场良莠不齐、混乱纷争的局面。 （2）各大IT巨头都把主要精力致力于“共有云”产品的研发和推广，在更强调企业内部封闭性的“私有云”领域涉足甚微。 鉴于以上分析，本项目尝试在以下方面做出创新。 （1）将新型的开源键值数据库Cassandra应用到云存储领域，充分发挥了其高可用、易于扩展等优势，将Cassandra部署到网络集群上有效的解决了大规模并发访问的问题。 （2）在Cassandra中自主研发分层压缩技术，可以节省大量的磁盘存储空间，并降低网络负载从而提高数据传输效率，从而解决了云存储系统的核心问题——存储空间和访问速度。 （3）整合Hadoop与开源键值数据库Cassandra开发云存储应用。 2. 研究方法 按照自下至上的顺序分层研发，首先利用Linux虚拟化技术搭建底层云平台，接着在此基础上整合开源键值数据库Cassandra与开源分布式计算框架Hadoop开发云存储服务应用，然后使用JSP动态网页语言开发面向用户的系统接口程序，最后在支持磁盘阵列存储的服务器上部署云存储应用系统进行测试和产品定型。 3. 研究内容 ?本项目旨在Cassandra云存储应用系统，该系统主要包括Cassa