- 1、本文档共6页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
云环境下基于二维节点矩阵的分级多表连接
小 型 微 型 计 算 机 系 统 2014年5月 第5期
JournalofChineseComputerSystems VOl_35 No.5 2014
云环境下基于二维节点矩阵的分级多表连接
陶永才 ,周梦雪 ,石 磊 ,卫 琳 ,曹仰杰
(郑州大学 信息工程学院,郑州450001)
(郑州大学软件技术学院,郑州450002)
E—mail:ieyctao@ ZZU.edu.ca
摘 要:随着 “大数据”时代的到来,分布式数据处理得到了广泛的应用和发展.在基于云计算的海量数据处理中,复杂处理要
求逐渐增多,数据分析通常需要跨越多个数据集,因此亟需高效的多表连接机制.现有的基于MapReduce的多表连接机制多采
用串行级联方式实现多个不同数据集连接 ,操作灵活但效率不高.本文在分析现有并行连接模型的基础上,提 出基于二维节点
矩阵的分级多表连接模型TD—HMJ.TD—HMJ在一次Map过程中处理全部连接属性,Reduce过程建立二维节点矩阵实现多组3
(或2)表并行连接,并通过多级Reduce过程实现多组间连接.理论分析和实验表明TD-HMJ减少了数据传输量,缩短 了多表连
接时间,提高了连接效率.
关 键 词:MapReduce;海量数据;云计算;多表连接
中图分类号:TP31l 文献标识码 :A 文 章 编号 :1000-1220(2014)05-0945-06
Two-dimensionNodeMatrixBasedHierarchizedMulti-joininCloudEnvironment
TAO Yong—cai,ZHOU Meng—xue ,SHILei,WEILin2。 CAOYang-jie
。(SchoolofInformationEngineering,ZhengzhouUniversity,Zhengzhou450001,China)
(SchoolofSoftware。ZhengzhouUniversity,Zhengzhou450002。China)
Abstract:W ithhtecomingofbigdataage,distributeddataprocessinghasachievedawiderangeofappficationsanddevelopment.In
cloudcomputing,complexprocessingrequirementsgraduallyincrease,naddataanalysisalwaysspansmultipledaat sets。htereforeit
hasna urgentneedforhigheffectivemechanisminmulti-joins.ExistingMapReduce—basedmulti-joinmechanismsimplementthejoin
ofmultipledatasetsviacascademehtod。whichisflexiblebutpoorefficiency.Thepapernaalyzesexistingconcurrentjoinmodelnad
proposesatwo—dimensionnodematrixbasedhierarchizedmulti-joinmodel(TD—HMJ).TD·HMJhandlesallkeypropertiesinone
M印 process.InReduceprocess,itimplementsseveralgroupsof3(or2)一tablejoinbyesatblishingatwo—dimensionalReducenode
matrixnadfinishesthejoinbetweengroupsthroughmulti—levelReduceprocesses.Theoreticalnaalysisesnadexperimentsshowhtat
TD—HMJdecreasesdatatransmission。curtailshtetimeofmulti~oin,nadincreaseshtesystemefficiency.
Keywords:MapReduce;massdata;cloudcomputing;multi~oin
1 引 言
您可能关注的文档
最近下载
- 公路劳务劳务施工方案.docx VIP
- 部编版语文六年级下册小升初考试课外文言文小古文阅读理解含答案.pdf VIP
- 安全教育培训课件水利工程施工与安全.pptx
- 国家职业技能标准:轨道交通信号工.pdf VIP
- 内部控制报告填报预算业务管理制度收支业务管理制度政府采购业务管理制度资产管理制度建设项目管理制度合同管理制度.doc VIP
- Unit 4 Eat Well(大单元教学设计) 人教版七年级英语下册.pdf
- 串行数据分析仪.pdf VIP
- 主检医师规范化及能力提升培训考试试题.pdf
- NY_T 2116-2012虫草制品中虫草素和腺苷的测定 高效液相色谱法.pdf
- 会计英语 全套课件.ppt
文档评论(0)