(word)课题研究方向.docVIP

项目研究内容及要求 一、研究领域 随着云时代的来临，大数据（Bigdata）也吸引了越来越多的关注。大数据（Big data）通常用来形容一个公司创造的大量非结构化和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像Hadoop一样的框架来向数十、数百或甚至数千的计算机分配工作。 Hadoop 是一个可实现大规模分布式计算的开源软件平台，已经被广泛应用在云计算领域。Hadoop 是Apache 开源组织的一个分布式计算开源框架，它可以运行在大型集群的廉价硬件设备上，实现对集群的控制和管理。而且Hadoop 为应用程序透明的提供了一组稳定可靠的接口，屏蔽了并行应用开发的细节，实现更加便捷的构建企业级的应用， 并且能够实现海量数据的管理和分布式数据处理。 Hadoop 最核心的设计就是分布式文件系统HDFS和Map/Reduce算法模型。分布式文件系统HDFS 是专门为Map/Reduce 作业所设计的文件系统。计算模型Map/Reduce 是Hadoop 的核心计算模型，是用于在集群上分布式处理大数据集的软件架构。它将复杂的运行于大规模集群上的并行计算过程高度的抽象到了2个函数，Map和Reduce，这是一个简单而又强大的模型。Hadoop 还包括对于结构化数据处理的HBase、数据仓库的基础设施H