通过虚拟化技术在Linux系统下搭建Hadoop集群研究与实现.docVIP

通过虚拟化技术在Linux系统下搭建Hadoop集群的研究与实现 　　摘要：本文从节约成本和简化搭建过程出发，介绍了通过VMware Workstation和CentOS 6.5在单机环境下，搭建分布式Hadoop集群的方法，并给出了详细的搭建步骤，最后对搭建好的平台进行了测试，测试结果表明建立在虚拟机上的Hadoop集群已经可以正常运行，可在上面进行实验和应用开发 关键词：Hadoop；VMware；虚拟化 中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2016）25-0175-06 1 概述 目前，大数据已经成为研究的热点，大数据的解决方案种类繁多，其中Hadoop作为 Apache基金会的一个开源项目，已经积累了大量用户，在业界也得到了广泛的认可，一些知名企业如百度、阿里巴巴、 谷歌、腾讯和facebook等，纷纷将 Hadoop应用于商业领域。传统的Hadoop集群是基于物理节点搭建的，虽然理论上组建一个 Hadoop集群不需要昂贵的高性能计算机，仅需一些廉价的计算机即可[1，2]，但如采用传统技术搭建Hadoop集群，就不得不面对一些问题：①构建集群需要大量的物理设备以及足够的实验场地②物理机的性能得不到充分利用；③基于物理机的Hadoop集群组建后，如需增加节点，就要增加新的物理机，需要更大的场地，而且集线器、交换机等物理设