Hadoop框架核心技术在高校大数据教学系统中应用.docVIP

Hadoop框架核心技术在高校大数据教学系统中应用 　　摘要：文章构建了云中实验室Hadoop大数据实验平台，用15台服务器、两台交换机建立了虚拟化平台，将大数据专业课所需的环境虚拟在服务器群集中；在大数据服务器中利用Hadoop的HDFS，MapReduce，Zookeeper和HBASE高可用性核心技术，有效地实现了中原工学院大数据教学系统的高可用性、可靠性，保证系统服务的不间断运行。 　　关键词：Hadoop；大数据；教学；HDFS 　　随着大数据时代的到来，大型数据集或数据的分析处理能力很快成为各大行业机构克争力的关键基础。在大数据专业教学进行过程中，各类数据的安全性及运算能力越来越重要。大数据教学系统的正常运行受到硬件故障、硬件不足等影响。Hadoop架构具有_可靠性、商可拓展性、尚容错性和高效性等优点，采用大型分布式集群，构建和部署数据存储和数据分析系统，是大型数据的理想解决方案，可以高效管理和分析。由于Hadoop在资源管理、数据存储、性能优化、作业调度、系统安全性和高可用性等方面的优势，Hadoop技术在互联网领域得到了广泛的运用[1]。 　　1Hadoop核心技术概述 　　1.1Hadoop简介 　　分布式系统是建立在网络上的软件系统。正是由于软件的特性，分布式系统具有高度透明性。因此，分布式系统和网络之间的区别更倾向于高层软件（特别是操作系统），而不是硬件。透明性是指每个数据库分布节点对于用户的应用来说都是透明的，看不出是本地还是远程。在分布式数据库系统中，用户感觉不到数据是分布的，即用户不知道数据存于哪个站点以及事务在哪个站点上执行等。 　　Hadoop是分析、处理大数据的软件平台，是一个用Java语言实现的隶属于Appach的开源软件的框架，由大量计算机组成的集群实现了对海量数据进行的分布式计算。以分布式文件系统（Hadoop Distributed FileSystem，HDFS）和 　　MapReduce为核心的Hadoop文件系统为用户提供了系统底层透明的分布式基础架构。 　　1.2Hadoop的核心技术 　　Hadoop分布式计算安装在Linux系统，本文介绍以Ubuntu14.04为基础，其核心技术通过HDFS，MapReduce等技术支持实现，HDFS为海量数据提供存储，而MapReduce为海量数据提供计算。 　　1.2.1HDFS分布式文件系统 　　HDFS由1个管理结点（NameNode）和N个数据结点（DataNode）组成，每??结点都是一台普通的计算机，在使用操作上与人们熟悉的单机文件系统类似，均可以创建目录，创建、删除、修改、复制、查看文件内容等。 　　从HDFS观点分析，集群中的服务器各尽其责，通力合作，共同提供了整个文件系统的服务。群集服务器根据各自的任务分为主服务器NameNode和数据服务器DataNode，NameNode作为管理者，管理所有的DataNode进行数据存储、备份、组织记录分配逻辑上的处理。简单来说，NameNode就是运筹帷幄、负责布局指挥将军，具体的存储、备份是由DataNode这样的战士执行完成的。故此很多资料将HDFS的组织结构分为master（主人）和slaver（奴隶）的关系，其实和NameNode，DataNode划分道理是一样的[2]。 　　1.2.2MapReduce并行计算框架 　　MapReduce是一个基于集群的高性能并行计算平台。MapReduce将运行于大规模集群上的复杂的并行计算过程高度抽象成两个函数：Map（映射）和Reduce（归约），这是一个令人瞠目结舌的模型，该模型简单却又威力巨大，是Google公司的核心计算模型。MapReduce对需要处理的任务有一个基本要求：待处理的数据集可以分解为多个小的任务，而且每个小任务都可以完全并行地进行处理。基于MapReduce写出来的程序能够在由上千台商用计算机组成的大型集群上运行，并且以一种完全可靠容错的方式并行地处理T级别的数据集，完成了Hadoop在集群上存储的数据和任务的并行计算与处理。 　　从MapReduce计算模型分析，MapReduce框架和HDFS是运行在同一组节点上的，这种配置允许高效的调度己经存好数据节点上的任务，可以提高整个集群的网络宽带的利用率。另外，在Hadoop中，参与mapreduce作业执行任务的机器有两个重要角色：TaskTracker，JobTracker。JobTracker（一个集群中只能有一台）是用于管理和调度工作的，TaskTracker是用于执行工作的[3]。 　　1.2.3HBase分布式存储系统 　　HBase（HadoopDatabase）是一个高性能、高可靠性、可伸缩、面向列的分布式存储