Hadoop项目方案书.docVIP

目录 1 项目概况 4 2 技术趋势 4 3 市场前景 5 4 市场竞争 6 5 重点解决的问题 7 项目概况 这是一个信息大爆炸的时代，互联网上的信息正在以几何级数的速度增长。在这个背景下，网络资源信息需要从TB乃至PB级的数据中挖掘出有用的信息，并对这些海量的数据进行快速高效的处理。如何实现高效地存储和管理如此大数量级的数据，又如何分析这些数据呢？在这样的环境下，Google公司以MapReduce为基石，结合GFS和Bigtable逐步发展成为全球互联网企业的领头羊。但是出于技术保密的原因，Google公司并没有开源其MaoReduce的实现细节，使外界很难深入的了解，认识和使用这项技术。在这样的背景下，Hadoop应运而生，其主创人Doug Cutting受到Google的大数据处理论文的启发，实现了一套完整而独立的大数据计算框架软件，这就是Hadoop，其包含了HDFS、MapReduce,Pig,Zookeeper等子项的集合，用于分布式计算。 其中Hadoop Distributed File System（HDFS）是Hadoop的一项核心组成部分，它是一个分布式文件系统。HDFS有着高容错性的特点，并且设计用来部署在低廉的硬件上，它提供高吞吐量来访问应用程序的数据。HDFS是基于Java语言开发的，可以不限于某个操作系统部署在计算机集群中，它的数据管理能力以