mapreduce和hdfs优化现状分析 optimization analysis of state of mapreduce and hdfs.pdfVIP

第33卷第1期 吉 林 化 工 学 院 学 报 V01．33No．I 2016年1月 JOURNAl．OFJILININSTITUTEOFCHEMICALTECHNOLOGY Jan． 2016 文章编号：1007-2853(2016)0l-0023-05 徐晓龙’，郑永永2 (1．北华大学计算机科学技术学院，吉林吉林132021；2．北华大学机械工程学院．吉林吉林132021) 摘要：Hadoop作为目前大数据处理最流行的平台，其核心包括HDFS和MapReduce，分别用于实现海量 数据的存储与处理．随着应用领域的不断扩展，MapReduce和HDFS面临很多亟需优化的问题．本文介 绍了当前各位学者对MapReduce和HDFS的优化情况，并提出今后的研究方向． 关键词：Hadoop；大数据；MapReduce；HDFS 391 中图分类号：TP 文献标志码：A DOI：10．16039／j．cnki．cn22—1249．2016．01．006 近年来，随着信息技术的高速发展，从制造、 传统的大规模数据处理技术如分布式的高性 交通运输、能源、服务、科教文化、医疗卫生等基础 能计算。5曩和网格计算。8。，他们存在消耗昂贵的 行业到电子商务、社交网络、物联网等新兴行业， 计算资源并且编程比较复杂的问题．使用云计 产生的数据正以爆炸式的方式增长．据国际数据 算【9能够很好的解决了上述问题．目前，Ha— 公司(IDC)预测，从2010年到2020年数据量会 dooplio]分布式计算框架是实现云计算存储和处 有50倍的增长，将会达到40ZB(1ZB=10万亿亿 理数据最好的平台．Hadoop具有高效性、高可靠 字节)的数量级． 性、高扩展性、高容错性等优点，能够让用户轻松 虽然大数据(bigdata)这个词汇已经风靡全地存储和处理海量数据，已经成为工业界大数据 球，对于大数据的准确含义，却比较模糊．维基百 领域的事实标准．然而，为了更好的应用在各个不 科对“大数据”的定义：大数据或称巨量数据、海 同的领域中，需要对Hadoop进行优化． 量数据、大资料，指的是所涉及的数据规模巨大到 无法通过人工，在合理时间内达到截取、管理、处 1 Hadoop概述 理、并整理成为人类所能解读的信息‘11．而4V‘2。41 定义比较符合大数据的特性，即大数据需满足以 为相关子项目的合集，逐步演化成一个生态系统． 下4个特点：规模性(Volume)、多样性(Variety)、 时效性(Velocity)和价值性(Value)．这些特性导 DistributedFile 致大数据难以存储和管理，导致常规的处理方法 文件系统(Hadoop System，HDFS) 很难快速地从海量数据中挖掘出有效的信息． 和MapReduce计算框架是Hadoop的两大核心． 敬据漉处理)致意处酌 (数据挖掘库(蒜端库 MapReduceH删 分布式计算框架 H阵S 分布式文件系统 图1 Hadoop的基本项目结构图 收稿日期：2015一11