Hadoop远程过程调用机制的分析和应用.pdfVIP

2012年 11月 西 安 邮 电 学 院 学 报 Nov．2012 第17卷第6期 JOURNALOFXI’ANUNIVERSITYOFPOSTSANDTELECOMMUNICATIONS Vo1．17No．6 Hadoop远程过程调用机制的分析和应用 王 博，陈莉君 (西安邮电大学计算机学院，陕西 西安 710121) 摘要： 为了高效快速的开发和使用Hadoop远程通信功能，对Hadoop远程过程调用(R~-notePmcedureCal1，RPC)机 制进行分析，提出独立调用HadoopRPC实现多客户端并发通信和大数据传输的机制，既继承HadoopPRC框架，又 在通信 中增加数据文件传输，并采用线程池模拟多客户线程的测试方案。通过测试发现Hadoop远程过程调用在通 信数据负载量和数据传输量的大致范围，测试方案和结论可用于HadoopRPC应用的配置和开发。 关键词 ：Hadoop框架；远程过程调用(RPC)；分布式存储；分布式计算；并发 中图分类号 ：TP315．69 文献标识码：A 文章编号： 1007—3264(2012)06—0074—04 Analysisandapplicationofmechanism ofHadoopRPC communiucation WANGBo． CHENLijun (SchoolofComputerScienceandTechnology，Ⅺ ’anUniversityofPostsandTelecon~unimfions，Xi’an710121，(him) Abstract： InordertodevelopanduseHadoopremotecommunicationefficientlyandrapidly， theprogram isdesignedtoimplementmulti—clientanddatatransmissionafteranalyzingHadoop RPC (RemoteProcedureCal1)mechanism ．ItextendstheHadoopRPC framework ，transfers datafilesandsimulatesmulti—clientthreadsusingthreadpoo1．Thereportisgiventorevealthe rangeofthedataloadandtransmissionofremotecommunicationaccordingtoHadoopRPCtest． Testprogram andconclusionscanbeusedindistributedapplicationsandconfigurationbyusing HadoopRPC． Keywords： Hadoopframework，RemoteProcedureCall，distributedstorage，distributedcom- puting，concurrency Hadoop是一个分布式系统基础架构，由A— 上，而且它能提供高传输率以访问应用程序的数据， pache基金会开发[¨。用户可以在不了解分布式底 适合那些有着超大数据集的应用程序[4]。 层细节的情况下，开发分布式程序，充分利用集群的 Hadoop技术 已经在互联网领域得以广泛的应 威力进行高速运算和存储。简单地说，Hadoop是 用，同时也得到研究界的普遍关注[5]。Facebook使 一 个可以更容易开发和运行处理大规模数据的软件 用 1000节点的机群运行Hadoop，存储 日志数据，支 平台引。 持其上的数据分析和机器学习；Google用 Hadoop Hadoop实现了一个分布式文件系统 (Hadoop 处理每周 20PB的数据，进行搜索日志分析和网页 Dis