Hadoop技术介绍及应用探讨v6概论.pptxVIP

提纲;大数据现象;大数据现象;大数据典型特征;广义的大数据;1、Hadoop历程 2、Hadoop相关项目 3、定义;1、Hadoop历程;2、Hadoop相关项目;（2）GigaOM总结的Hadoop生态系统图 ;Just A Tool 能够对大量数据进行分布式处理的软件框架； 实现了Google的MapReduce编程模型和框架； 把应用程序分割成小工作单元，并将其放到集群节点上执行（先分后合）。 分两个方面 分布式存储； 并行计算。;1、架构特点—主从结构 2、功能模块—三架马车 3、新版本升级— YARN出现 4、集群搭建实例;1、架构特点;文件系统 Master-Slave 结构 NameNode节点记录文件系统的元数据； Slave节点分别存储数据； 文件系统有块的概念。;Task Master-Slave 结构 作业提交节点直接与客户端连接； jobtracker进行任务的分配； tasktracker负责完成任务。;;HDFS是Hadoop中的核心技术，完成基本存储； 在廉价PC集群上运行； 访问模式为流式??据； 冗余与多副本机制保证数据存储的可靠性； 负载均衡控制集群中数据的存储分布。;;本质是函数式编程，为使用者提供一个框架； 程序可应用于不同规模的集群； 该框架下，所有的操作都分为两类； 框架底层实现将数据集划分为Spilts； 作业中输出文件和输入文件都