云计算平台的搭建与研究.docVIP

云计算平台的搭建与研究 摘 要：云计算是当前国内外比较热门的研究课 题。Hadoop开源实现了谷歌公司的GFS (Google File System),并且成为云计算平台的标准模型。本文在对 Hadoop的核心组件HDFS和子项目HBase、Hive深入 分析基础上，基于Hadoop+HBase+Hive搭建起云计算 平台，经过实验证明云计算平台具有查询速度快和高 容错性等特点。 关键词：云计算；Hadoop； HDFS； HBase； Hive 1引言 为了解决大数据的存储和分析的问题，云计算[1] 的解决方案应运而生。云计算综合了分布式计算、并 行计算、网格计算、网络存储技术、虚拟化技术和负 载均衡等传统计算机技术。实质上，云计算就是通过 虚拟化技术将相应的硬件资源和软件资源构建为虚拟 化资源池，通过网络的方式，按照自身需要获取其中 的资源，根据实际使用量来付费，并且不用管理他们。 当前，云计算平台众多，但大多数是商业平台，而 Hadoop是免费的，它开源实现了谷歌公司的GFS (Google File System),采用 Java 语言编程，具有 Java 可移植性强等特点，从而为研究云计算提供了平台。 2 Hadoop 介绍 Hadoop[2]是Apache的一个开源分布式系统架构, 具有低存储成本、高效率、高容错性、高扩展性及高 可移植性等主要优点，它可以在大量廉价