Hadoop系统map阶段的排序性能分析与优化 Sorting Performance Analysis and Optimization in Map Phase of Hadoop System.pdfVIP

下载本文档

1
0
约1.11万字
约 3页
2017-11-25 发布于上海
举报
版权申诉

Hadoop系统map阶段的排序性能分析与优化 Sorting Performance Analysis and Optimization in Map Phase of Hadoop System.pdf

1、本文档共3页，可阅读全部内容。
2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击这里二次下载。
4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
5、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
6、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
7、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
8、VIP文档为合作方或网友上传，每下载1次，网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档

Hadoop系统map阶段的排序性能分析与优化 Sorting Performance Analysis and Optimization in Map Phase of Hadoop System

ISSN1009-3044 E-mail:info@ ComputerKnowledgeandTechnology电脑知识与技术第10卷第7期 (2014年3月) ComputerKnowledgeandTechnology 电脑知识与技术 Vol.10,No.7,March2014 Tel:+86-55165690964 Hadoop系统map阶段的排序性能分析与优化周扬，张恒生（中兴通讯股份有限公司，江苏南京210012）摘要：MapReduce计算框架已被广泛用于大规模数据分析的应用。虽然它具有弹性的可扩展性和细粒度的容错系统，然而性能却并不令人满意。MapReduce可以通过分配更多的计算节点来实现更好的性能，但是，这种做法并不符合成本效益。用户渴望MapReduce在提供弹性的可扩展性和细密度容错的同时，可以具有更高的计算效率。该文提出了一种动态优化map阶段排序性能的方法，并进行了测试，测试结果表明，该方法能够提升MapReduce的基准测试性能。关键词：Hadoop；MapReduce；排序；性能优化；动态中图分类号：TP302.7 文献标识码：A 文章编号：1009-3044(2014)07-1410-03 SortingPerformanceAnalysisandOptimizationinMapPhaseofHadoopSystem ZHOUYang,ZHANGHeng-sheng (ZteCorp,Nanjing210012,China) Abstract: MapReduceframeworkhasbeenwidelyusedinlarge-scaledataanalysisapplications.Thesystemiswellrecognized foritselasticscalabilityandﬁne-grainedfaulttolerance,butitsperformancenotsatisfactory.MapReducecanachievebetterper⁃ formancewiththeallocationofmorecomputenodesfromthecloudtospeedupcomputation.However,thisapproachisnot cost-effective.UsersdesireamoreeffectiveMapReduceframeworkwithbothelasticscalabilityandfault-tolerance.Inthispaper, weanalyzethesortingPerformanceintheMapPhaseofHadoopSystem.Weproposedandimplementedamethodtooptimize thesortingperformancedynamically.TheexperimentsshowthatthemethodcanimprovetheperformanceofMapReduce. Keywords：Hadoop；MapReduce；Sorting；PerformanceOptimization；Dynamic 1介绍随着物联网、社交网络等新的互联网技术的发展，数据被大量产生。如何从海量数据中获得有用的信息，为用户提供好的用户体验，增强企业的竞争力，这对海量数据处理来说是一个挑战。目前MapReduce计算框架[1]已成为海量数据处理的便利工具，它提供了一个特定的编程框架，并且对用户封装了计算的分布式并行、系统的扩展性和容错性。 Hadoop[2]是根据MapReduce架构实现的一个开源系统，并逐渐成为业界应用的标准。一些企业使用Hadoop完成网页索引、数据挖掘、日志文件分析、财务分析、科学模拟以及生物信息学的研究。然而Hadoop处理数据的性能却难以令人满意，人们对它的性能做了很多研究与改进方案，包括对分布式文件系统HDFS的性能研究与提升[3] [4] [5]