一种面向大规模数据处理的数据库引擎.pdfVIP

第38卷 第 11期 计 算 机 工 程 2012年 6月 Vo1-38 NO．11 ComputerEngineering June2012 · 软件技术与数据库 · 文章编号：10o0—-3428(20l2)1l—_0048—_o3 文献标识码：A 中田分类号：TP311 一 种面向大规模数据处理的数据库引擎 王 毅，刘长城，马建庆 (复旦大学计算机科学技术学院，上海 200433) 摘 要：当数据量从 GB级上升至TB级甚至 PB级时，具有高性能的并行数据库在保证扩展性和容错性的同时计算代价会很高。针对该 问题，设计一种面向大规模数据处理的并行数据库引擎FlexDB。利用MapReduce的并行计算框架作为通信层，调度和协调集群中各节点 的计算和通信。实验结果表明，FlexDB的系统性能接近于并行数据库，并且具有较好的扩展性和容错性。 关健诃：海量数据；扩展性；容错性；MpaReduce框架；并行数据库 DatabaseEngineforLargeScaleDataProcessing W ANG Yi，LIU Chang-cheng，MA Jian-qing (SchoolofComputerScience，FudanUniversity，Shanghai200433，China) [Abstract]WhentheamomatofdatafromGBgoesuptoTBlevelorevenPBlevel，paralleldatabasewithhighperformancecosttoomuchin orderot achievescalabilityandfaulttolerance．Toaddresshteproblem，htispaperdesignsaparalleldatabaseengin FlexDB，whichisbasedOn M pa Reduce．TheparallelcomputingframeworkofMapReduceisasacommunicationlayerofFlexDB whichistoassigncomputingtasksand coordniatecommunicationsamongallnodesincluster．Experimentalresultsshow thattheFlexDB system performna ceisclosetoparalleldatabase， andhasgoodexpna sibilityandfaulttolerance． [Keywordslmassdaat；scalability；faulttolerance；MapReduceframework；paralleldatabase DOI：10．3969~．issn．1000—3428．2012．11．015 1 概述 Hadoop虽具有高可扩展性和容错性，但采用 Schema— 随着Internet的发展，目前处在一个大数据的时代。IDC Free方式，处理结构化数据时不能利用数据库中成熟的技术， 2011年的报告主题为： “ExtractingValuefromChaos”。报 如索引、视图等，依靠蛮力进行穷举查找和计算，不能满足 告称，全球数据存储需求为 1．8×10“GB，预计2015年将达 实时计算和查询。数据库界的StonebrakerM等人指出Map 到7．9×10 GB…。如何有效地存储和分析如此巨大的数据， Reduce是一个巨大的倒退 】。业界对于两者谁更适合进行大 进而给企业、政府、社会决策提供支持，这对学术界和工业 规模的并行计算(主要指结构化数据)UI起了巨大讨论。文献[7] 界来说都是一个巨大的挑战。由于成本和技术