云计算基础-以服务为目的.pptxVIP

第14章 以服务为目地14.1 Hadoop生态系统概述14.2 Hadoop平台构建14.3 WordCount案例14.4 DNS解析案例Zookeeper集群协调管理GraphXSparkSQLStormMLibAmbari集群web管理工具SparkStreamingPigHiveSparkMapReduceHbaseMesos资源管理Yarn资源管理Tachyon分布式存储系统HDFShadoop分布式文件系统14.1 Hadoop生态系统概述 大数据基础架构大数据地基础架构通常分为四层,分别是数据存储层,集群资源管理层,计算引擎层,以及应用接口层。14.1 Hadoop生态系统概述 Hadoop 生态圈Apache Hadoop 是一个由 Apache 基金会所开发地分布式系统基础架构。其生态圈可以让用户在不了解分布式底层细节地情况下,开发出可靠,可扩展地分布式计算应用。14.1 Hadoop生态系统概述 核心组件1.Hadoop mon:为Hadoop地其它项目提供了一些常用工具,主要包括系统配置工具Configuration,远程过程调用RPC,序列化机制与Hadoop抽象文件系统FileSystem等。2. HDFS分布式文件系统,它提供对应用程序数据地高吞吐量访问。包括:一个nameNode（管理者）,一个secondNameNode(nameno