Hadoop大数据技术揭秘.pptx

Hadoop 大数据技术揭秘 BigData 系列 1. 大数据介绍 2. 数据库及存储 3. 计算框架 4. 数据访问 目录 2 大数据介绍 3 1. 大数据介绍 2. 数据库及存储 3. 计算框架 4. 数据访问 目录 4 HDFS：Hadoop分布式文件系统(Hadoop Distributed File System)，Hadoop集群首选文件系统。 一种虚拟文件系统，数据最终还是存储在操作系统文件里。 分布式文件系统HDFS简介 HDFS——分布式文件系统 6 HDFS架构基本组成元素： NameNode：维护整个文件系统的命名空间，文件/目录的元信息和文件的数据块索引。 DataNode：根据NameNode的调度存储和检索数据，并且定期向NameNode发送他们所存储的块(block)的列表。 Client：Client包括命令行、应用程序、Web管理界面等。Client是用户和HDFS的交互手段。用户通过Client与名字节点、数据节点进行通信，访问HDFS文件系统。 ZooKeeper：分布式协调服务 为集群提供一致性服务，包括配置维护、名字服务、分布式同步、组成员管理等。 特点 高性能：能处理每秒上万的请求。 高可靠性：不会单点故障而造成任何问题。 有序的访问：使客户端可以实现较为复杂的同步操作。 协调服务ZooKeeper简介 角色 描述 领导者(Leader) 领导者负责进行投票的发起和决议，更新系统状态。 学习者（Learner） 跟随者 （Follower） Follower用于接收客户请求并向客户端返回结果，在选主过程中参与投票。 观察者 （Observer） Observer可以接收客户端连接，将写请求转发给Leader节点。但Observer的目的是为了扩展系统，提高读取速度。 Server分如下3种角色： Client： ZooKeeper服务的享受者，它负责向 Server发起读写请求。 Client包括命令行、HBase、Kfaka、各类Java应用程序等。 Server（集群） 建议奇数个Server（如3、5、7)，数目越多可靠性越高。 所有Server上存储的数据保持一致，Leader负责写操作。 ZooKeeper组成 YARN：另一种资源协调者（ Yet Another Resource Negotiator )，Hadoop2.0新增的资源管理器。 YARN支持多种框架运行在一个集群之上（如MapReduce、Storm），所有框架共享集群资源。 在较高层次上，可以把YARN看做是一个集群操作系统，它为应用程序提供了基本的服务来更好的利用大的、动态的、并行的基础设施资源。 集群资源管理YARN简介 YARN架构 HBase: Hadoop数据库（Hadoop Database）。 高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价硬件上搭建起大规模结构化存储集群，有数据库的DDL、DML功能。 HBase支持随机读写，而HDFS只能在文件末尾追加。 数据库HBase简介 MPP数据库架构 12 disks disks memory CPU CPU Interconnection Network … 数据 数据分布策略 Hash, Range, Random… MPP架构横向扩展最多192个节点 MPP Cluster大规模并行计算 13 统一接口层收到上层发送的查询请求，根据指定的集群节点或经过负载均衡后选出的集群节点，将SQL发送至指定节点的GCluster层。 收到请求的节点GCluster层负责对SQL进行词法、语法检查，进行查询优化，生成分布式执行计划，将生成的分布式执行计划发送至集群相关节点的GNode层进行执行。GCWare层对各节点当前状态进行监控，保证分布式查询计划可以正确执行。 集群各节点GNode层对执行计划进行解析和执行。涉及到数据在不同节点间的搬运、结果汇总等操作通过GCluster层进行统一调度，GCWare层在各节点执行过程中对节点状态进行监控，各节点将最终执行结果发送至SQL发起节点进行汇总，再通过统一接口层返回给上层应用。 1. 大数据介绍 2. 数据库及存储 3. 计算框架 4. 数据访问 目录 14 Hadoop分布式计算 15 Hadoop基于X86服务器本地的计算与存储资源提供了分布式并行计算和低成本存储，提供低时延、高并发的查询功能，集群可以扩展到上千台服务器。 资源管理YARN：改进的YARN统一资源管理，在同一物理主机/虚拟主机和数据集上运行多种计算框架,包括离线计算、内存计算和实时计算。 分布式文件系统HDFS：分布式文件系统，有较强的容错