Hadoop集群中影响应用性能的因素分析.pdfVIP

Hadoop集群中影响应用性能的因素分析 马生俊,陈旺虎,郭宏乐,乔保民,李新田 【摘要】 针对 Hadoop 集群中应用执行的低效率、高成本问题,首先,通过对 Hadoop 分布式存储技术和并行编程模型的分析,发现数据集采用单文件还是多 文件方式,以及数据块划分的大小是影响其性能的主要因素 .其次,设计实验探讨 了不同规模集群环境下,两类数据集以及不同大小的数据块对应用性能的影响程 度.最后,综合实验结果发现,在数据量一定的情况下,随着数据块的增大,map任务 数的变化导致大文件数据集的执行效率越来越高于小文件数据集的执行效率 ;另 外,两类数据集