基于MapReduce模型的排序算法优化研究.pdfVIP

ISSN 1673—94l8 C0DEN JKYTA8 E-mail：fcst@vip．163．corn JournalofFrontiersofComputerScienceandTechnology http：／／www．ceaj．org 1673--9418／2015／09(04)--0410·0·8 Tel：+86．．10． doi：10．3778~．issn．1673-9418．1409083 基于MapReduce模型的排序算法优化研究 蒋 勇H，赵作鹏。 1．江苏联合职业技术学院 信息技术系，江苏 徐州 221008 2．中国矿业大学 计算机科学与技术学院，江苏 徐州 221008 ResearchonOptimizationofSortingAlgorithm BasedonM apReduce JIANGYongH，ZHAOZuopeng 1．DepartmentofInformationTechnology,JiangsuUnionTechnicalInstitute，Xuzhou，Jiangsu221008，China 2．SchoolofComputerScienceandTechnology,ChinaUniversityofMiningnadTechnoloyg,Xuzhou,Jiangsu221008，China +Correspondingauthor：E—mail：xzcxjy@126．corn JIANG Yong，ZHAO Zuopeng．Researchonoptimizationofsortingalgorithm basedonM apReduce．Journal ofFrontiersofComputerScienceandTechnology,2015，9(4)：410-417． Abstract：M apReducehasbceomethestandardparallelcomputingmodelonbigdataanalysis．Tobalancehighlythe loadingnodesinMapReducesystem andminimizespaceusage，CPU，I／O operationtimena dnetworkoverhead，based onagoodparallelalgorithm，thispaperproposesanoptimizationalgorithm ofM apReducedesignspecification，opti— mizingindexesatthesametime．Thispaperalsogivestheoreticalanalysisforthemostimportantsortingalgorithm indataprocessingfield，presentstheoptimalalgorithm ofmultipleindexconstraints，andprovesthattheoptimal algorithm meetsthestandardofM apReduceoptimizationalgorithm．Theexperimentsverifythatthisoptimalsorting algorithm isbeRerthanthetraditionalsortingalgoritmh intermsofeffectivenessandefficiency． Keywords：MapReduce；optimizationalgorithm；bigdata；sortingalgorithm 摘 要：MapReduce已经发展成为大数据领域标准的并行计算模型。为了4~MapReduce系统下参与计算的所 有节点高度负载均衡，并且最小化空间使用率、CPU、I／O的使用时长和网络传输开销等指标，在保持算法良好 并行性的基础上，提 出了一种MapReduce优化算法的设计规范，对多个指标 同时进行优化。