大数据管理技术研究综述.pdfVIP

第31卷第 11期 计算机应用与软件 Vo1．31 No．11 2014年 11月 ComputerApplicationsandSoftware NOV．2014 大数据管理技术研究综述 张 滨 陈吉荣 乐嘉锦 (东华大学计算机科学与技术学院 上海201620) (浙江财经学院 浙江 杭州 310018) 摘 要 大数据具有规模大、深度大、宽度大、处理时间短、硬件系统普通化、软件系统开源化等特点。传统关系型数据库在对大 数据进行操作时，系统性能严重下降。因此，大数据管理技术研究成为当前研究热点。分别从并行数据库，面向大数据处理的Ma pReduce模型，NoSQL与数据库技术的对比以及MapReduce与数据库技术相结合四个方面，对国内外的研究发展状况进行分析和评 述，最后展望了未来大数据研究发展方向。 关键词 大数据 数据库 MapReduee 并行数据库系统 非关系型数据库 中图分类号 TP313 文献标识码 A DOI：10．3969／j．issn．1000．386x．2014．11．001 oVERVⅡW oN BIG DATA M NAGEMENT TECHNoLOGY RESEARCH ZhangBin’ ChenJirong LeJiajin (SchoolofComputer＆eMeandTechnology，DonghuaUniversity，Shanghai201620，China) ( UniversityofFinanceand Economics，Hangzhou310018，Zhejiang，China) Abstract Bigdatahasthecharacteristicsofbigvolume，bigdepth，bigwidth，shortprocessingtime，commonhardwaresystem andopen sourcesoftwaresystem．Thesystem performanceof traditionalrelational databasewillseriousdeclinewhenprocessingthebigdata．Therefore thebigdatamanagementtechnologyhasbecomethefocusof theresearch．Inthispaper，weanalyseandcommentthedevelopmentsituation ofresearchesathomeandbaroadfromfourperspectives，theparalleldatabase，theMapReducemodelforbigdataprocessing，thecomparison betweenNoSQLanddatbaasetechnoloyg，andhteintegrationofMapReduceanddatabasetechnology．Atlastwegivetheprospectonthe futuredirectionofthereserachdevelopmentofbigdata． Keywords Bigdata Datbaase MapReduce Paralleldatabasesystem NoSQL 库系统是在大规模并行处理系统 (MPP)和集群并行计算环境 0 引 言 的基础上建立的高性能数据库系统。这样的系统是由许多松耦 合处理单元组成的，指的是处理单元而不是处理器。每个单元 随着计算机技术和互联网的急速