云数据管理研究综述.pdfVIP

研究与开发 云数据管理研究综述 吴吉义 ，傅建庆 。，张明西 。，平玲娣 (1．杭州师范大学杭 』’Jl市电子商务与信 息安全重点实验 室 杭9’1,1310036； 2．浙江大学计算机科学与技术学院 杭州 310027；3．东华大学计算机科学与技术学院 上海 201620) _圜 作为一种全新的互联网应用模式，云计算已成为人们未来获取服务和信息的主导方式。随着云计算 中大数据集高效管理 、海量数据 中特定数据的快速定位 、云端海量数据精准查询等迫切需求的 日益 显现，Web数据管理正逐步向云数据管理阶段发展，一个新 的云数据管理研究领域正逐渐形成 。在云 计算技术的基础上，提出了云数据管理系统 的概念，深度剖析 了BigTable、Hbase、Sector／Sphere等当 前互联 网主流云数据管理系统 的基本原理，最后指 出了云数据管理领域的主要研究方向。 关键词 云 计算 数据管理；软件即服务 为提供给客户的新 “商品化”的资源，EC2已成为亚马逊当 1 引言 前 “增长最快的业务”。谷歌fGo0gle)一直致力于推广以GFS 在过去的近1O年中，学术界与企业界以充分利用网络 fGooglefilesystem)I1、MapReduceI一1、BigTable4[] 术为基础 计算与存储资源、实现大范同的协作与资源共享、达成高 的应用引 (appengine)，为用户进行海量数据处理提供了 效率低成本的计算为 目标，相继提出了如 “网格计算(grid 手段。IBM于2007年推出的“蓝云”(bluecloud)计算平台闭， computing)”、“按需计算”、“效能计算 (utilitycomputing)”、 采用了Xen16]、PowerVMEn虚拟技术和Hadoop技术，以期帮 “互联网计算 fInternetcomputing)”、“软件即服务(software 助客户构建云计算环境。HDFSI8,91与其他分布式文件系统 asaservice)”、“平台即服务”(platformasaservice)等类似 有很多相似，但由于其设计基于硬件失效(hardwarefailure)、 “云计算”的概念和模式。“云计算”概念的正式提出是最近 流式数据访问fstreamingdataaccess)、大数据集支持(1arge 两年．“云计算”因其更清晰的商业模式而受到广泛关注， datasets1、简单的一致性模型fsimplecoherencymodel1、移 并得到工业和学术界的普遍认可 成为2009年最受关注 动计算比移动数据更廉价 fmovingcomputationischeaper 的十大IT技术之一。 thanmovingdata)、跨异构软硬件平台的N,Nf~(portability 亚马逊 (Amazon1推出的 “简单存储服务”S3(simple acrossheterogeneoushardwareandsoftwareplatfomrs1等 目标 storageservice)和 “弹性计算云”EC2(elasticcomputecloud) 和假设{1『，特色也是非常明显的。HDFS虽然运行在廉价的 标志着 “云计算”发展的新阶段：即基础架构的网络服务作 硬件设施(commodityhardware)，但能够满足高可靠性、大吞 吐量、大数据集的数据访问需求。微软也在宣布了 WindowsAzure云计算操作系统计划之后，立即着手从Live 国家 “863”计划 资助项 目(No．2008AA01A323)，国家 支撑计 划资