- 1、本文档共6页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
云环境下基于二维节点矩阵的分级多表连接
小 型 微 型 计 算 机 系 统 2014年5月 第5期
JournalofChineseComputerSystems VOl_35 No.5 2014
云环境下基于二维节点矩阵的分级多表连接
陶永才 ,周梦雪 ,石 磊 ,卫 琳 ,曹仰杰
(郑州大学 信息工程学院,郑州450001)
(郑州大学软件技术学院,郑州450002)
E—mail:ieyctao@ ZZU.edu.ca
摘 要:随着 “大数据”时代的到来,分布式数据处理得到了广泛的应用和发展.在基于云计算的海量数据处理中,复杂处理要
求逐渐增多,数据分析通常需要跨越多个数据集,因此亟需高效的多表连接机制.现有的基于MapReduce的多表连接机制多采
用串行级联方式实现多个不同数据集连接 ,操作灵活但效率不高.本文在分析现有并行连接模型的基础上,提 出基于二维节点
矩阵的分级多表连接模型TD—HMJ.TD—HMJ在一次Map过程中处理全部连接属性,Reduce过程建立二维节点矩阵实现多组3
(或2)表并行连接,并通过多级Reduce过程实现多组间连接.理论分析和实验表明TD-HMJ减少了数据传输量,缩短 了多表连
接时间,提高了连接效率.
关 键 词:MapReduce;海量数据;云计算;多表连接
中图分类号:TP31l 文献标识码 :A 文 章 编号 :1000-1220(2014)05-0945-06
Two-dimensionNodeMatrixBasedHierarchizedMulti-joininCloudEnvironment
TAO Yong—cai,ZHOU Meng—xue ,SHILei,WEILin2。 CAOYang-jie
。(SchoolofInformationEngineering,ZhengzhouUniversity,Zhengzhou450001,China)
(SchoolofSoftware。ZhengzhouUniversity,Zhengzhou450002。China)
Abstract:W ithhtecomingofbigdataage,distributeddataprocessinghasachievedawiderangeofappficationsanddevelopment.In
cloudcomputing,complexprocessingrequirementsgraduallyincrease,naddataanalysisalwaysspansmultipledaat sets。htereforeit
hasna urgentneedforhigheffectivemechanisminmulti-joins.ExistingMapReduce—basedmulti-joinmechanismsimplementthejoin
ofmultipledatasetsviacascademehtod。whichisflexiblebutpoorefficiency.Thepapernaalyzesexistingconcurrentjoinmodelnad
proposesatwo—dimensionnodematrixbasedhierarchizedmulti-joinmodel(TD—HMJ).TD·HMJhandlesallkeypropertiesinone
M印 process.InReduceprocess,itimplementsseveralgroupsof3(or2)一tablejoinbyesatblishingatwo—dimensionalReducenode
matrixnadfinishesthejoinbetweengroupsthroughmulti—levelReduceprocesses.Theoreticalnaalysisesnadexperimentsshowhtat
TD—HMJdecreasesdatatransmission。curtailshtetimeofmulti~oin,nadincreaseshtesystemefficiency.
Keywords:MapReduce;massdata;cloudcomputing;multi~oin
1 引 言
您可能关注的文档
最近下载
- 2025年(组织、党纪)一对一谈心谈话记录+支部委员与普通党员日常谈心谈话记录.doc VIP
- 《GB/T 18336.3-2024网络安全技术 信息技术安全评估准则 第3部分:安全保障组件》.pdf
- 《图形图像处理》课程标准.pdf
- 交通大学三位一体招生部分试题回忆(数学)问卷6.11资料.doc VIP
- 孔雀东南飞挖空练习附答案.docx
- 降低降低阴道分娩并发症实施方案.docx
- 京族民族文化融入小学美术教学策略研究.pptx VIP
- 乙醇安全技术说明书(MSDS).docx
- 2024年教师招聘考试专业知识(幼儿园)历年试题(附带答案).pdf VIP
- 西安开放大学2022年《现代企业管理方法》平时作业1-4答案.docx VIP
文档评论(0)