Hadoop技术介绍及应用探讨v6研讨.pptxVIP

提纲;大数据现象;大数据现象;大数据典型特征;广义的大数据;1、Hadoop历程 2、Hadoop相关项目 3、定义;1、Hadoop历程;2、Hadoop相关项目;（2）GigaOM总结的Hadoop生态系统图 ;Just A Tool 能够对大量数据进行分布式处理的软件框架； 实现了Google的MapReduce编程模型和框架； 把应用程序分割成小工作单元，并将其放到集群节点上执行（先分后合）。 分两个方面 分布式存储； 并行计算。;1、架构特点—主从结构 2、功能模块—三架马车 3、新版本升级— YARN出现 4、集群搭建实例;1、架构特点;文件系统 Master-Slave 结构 NameNode节点记录文件系统的元数据； Slave节点分别存储数据； 文件系统有块的概念。;Task Master-Slave 结构 作业提交节点直接与客户端连接； jobtracker进行任务的分配； tasktracker负责完成任务。;;HDFS是Hadoop中的核心技术，完成基本存储； 在廉价PC集群上运行； 访问模式为流式??据； 冗余与多副本机制保证数据存储的可靠性； 负载均衡控制集群中数据的存储分布。;;本质是函数式编程，为使用者提供一个框架； 程序可应用于不同规模的集群； 该框架下，所有的操作都分为两类； 框架底层实现将数据集划分为Spilts； 作业中输出文件和输入文件都保存在HDFS上。 ;;;HDFS之上的数据库； 居于NoSQL和关系数据库之间，存储结构化较弱的数据； 每个值的数据形式是字符串，不区分类型。;;;;;4、集群搭建实例;4、集群搭建实例;4、集群搭建实例;4、集群搭建实例;4、集群搭建实例;1、成功应用案例 2、石油勘探领域中的应用探讨;1、成功应用案例;;1、成功应用案例;1、成功应用案例;;;1、下一代Hadoop 2、展望;YARN调度框架的完善 支持更多的资源类型（网络、磁盘等）； 支持更多的调度语义。 长作业（streaming）的在线升级 Strom在线升级； Container资源动态调整。 容错机制 ResourceManager自身容错； NodeManager宕掉，任务不受影响； ApplicationMaster个性化容错。