Hadoop在大数据环境下的性能优化.docxVIP

Hadoop大数据环境下的性能优化陈庆敬,M201372867??(华中科技大学计算机科学与技术学院武汉市 430074)摘 要随着互联网的快速发展，数据量以前所未有的势头呈现出爆炸式增长，人类由此进入大数据时代。海量数据的产生必将推动互联网的演进，对海量数据的充分挖掘将催生更多的新业态，给我们带来更多的惊喜和便利。但数据大多是结构化和半结构化的，传统的关系型数据库很难胜任对非结构化的分析工作，而Hadoop则是解决上述问题最好的实现框架。以Hadoop为代表的非关系数据分析方法，以其适合大规模并行处理、简单易用等突出优势,在互联网信息搜索和其他大数据分析领域取得重大进展，已成为目前大数据分析的主流技术。但Hadoop在小文件问题以及数据处理性能等方面尚有很大的提升空间，因此从不同角度对Hadoop性能瓶颈进行分析，进而提出相应的优化方案，在大数据时代具有重大意义。关键词大数据；数据挖掘；Hadoop；性能瓶颈；优化方案。中图法分类号TP391　　　The performance optimization of Hadoop in the background of Big DataChen Qing-Jing(Department of Computer Science and Technology, Huazhong University of Science and Tec