大数据应用技术介绍.pptxVIP

大数据应用技术介绍2021年2月 Hadoop生态系统 Hadoop生态系统Sub Project描述common分布式文件系统和通用I/O的组件与接口（序列化，Java RPC和持久化数据结构）Avro支持高效的跨语言RPC和持久数据存储的序列化系统MapReduce分布式数据处理模型和执行环境，运行在大型商用机集群HDFS分布式文件系统，用于大型商用机集群PIGPig是SQL-like语言，是在MapReduce上构建的一种高级查询语言，把一些运算编译进MapReduce模型的Map和Reduce中，并且用户可以定义自己的功能。Hive分布式、按列存储的数据仓库。Hive管理HDFS中存储的数据，并提供基于SQL的查询语言（由运行时引擎翻译成MapReduce作业）Hbase分布式、按列存储的数据库。HBase使用HDFS作为底层存储，同时支持MapReduce的批量式计算和点查询（随机读取）ZooKeeper分布式、可用性高的协调服务。提供类似分布式锁的基础服务。Sqoop在数据库和HDFS之间高效传输数据的工具Flume分布式、可靠、和高可用的海量日志聚合的系统。ChukwaChukwa是基于Hadoop的大集群监控系统，由yahoo贡献。 Hadoop介绍HDFSMapReduce HDFS 特点存储大文件百兆以上级别文件百万级文件由于亿级别文件流式处理数据一次写多次多模式支持追加操作廉价的硬件环境普通pc server组成集群环境 HDFS缺点低延时读操作高吞吐量而非低延时Hbase 解决了这个问题大量小数据文件最好每个文件大于100M多次写只支持一次写只支持在文件尾部添加，不支持随机写 HDFS 部署结构 HDFS 读写过程 MapReduce 部署结构JobTracker管理集群资源和Job调度TaskTracker管理Task运行 MapReduce 计算模型Inputk1, v1Mapk2, v2Reducek3, v3Output MapReduce 扩展接口InputFormatMapperPartitionerReducerOutputFormat Map Reduce MapReduce实例 MapReduce内部结构 Hadoop 2.0引入一个新的资源管理系统YARNHDFS单点故障得以解决HDFS FederationHDFS 快照通过NFS访问HDFS支持Window系统 Hadoop1 VS Hadoop2 集群资源管理Hadoop介绍 Yarn 运行原理图 Hbase介绍1 高可靠性2 高效性3 面向列4 可伸缩5 可在廉价PC Server搭建大规模结构化存储集群 Hbase体系结构 HBase 系统架构图 HBase部件说明Client：使用HBase RPC机制与HMaster和HRegionServer进行通信Client与HMaster进行通信进行管理类操作Client与HRegionServer进行数据读写类操作Zookeeper：Zookeeper Quorum存储-ROOT-表地址、HMaster地址HRegionServer把自己以Ephedral方式注册到Zookeeper中，HMaster随时感知各个HRegionServer的健康状况Zookeeper防止HMaster单点问题HMaster：HMaster没有单点问题，HBase中可以启动多个HMaster，通过Zookeeper的Master Election机制保证总有一个Master在运行主要负责Table和Region的管理工作：1 管理用户对表的增删改查操作2 管理HRegionServer的负载均衡，调整Region分布3 Region Split后，负责新Region的分布4 在HRegionServer停机后，负责失效HRegionServer上Region迁移 TableRegionTable随着记录增多不断变大，会自动分裂成多份Splits，成为Regions一个region由[startkey，endkey)表示不同region会被Master分配给相应的RegionServer进行管理 HregionServer -ROOT- .META..META. 记录用户表的Region信息，同时，.META.也可以有多region-ROOT- 记录.META.表的Region信息，但是，-ROOT-只有一个regionZookeeper中记录了-ROOT-表的location客户端访问数据的流程：Client - Zookeeper - -ROOT- - .META. - 用户数据表屡次网络操作，不过client端有cache缓存 HBase 数据模型Row