Hadop技术介绍.pptxVIP

Hadoop技术介绍;Hadoop是什么 Hadoop是如何运作的 Hadoop能做什么 大数据时代三架马车;前言; Hadoop是由Apache基金会研发的开源的分布式计算框架和分布式文件系统。是对Google的MapReduce和GFS的开源实现。 分布式计算框架（MapReduce） Map(映射) 对数据做键值映射，可理解为Group By。 Reduce(化简) 对Map阶段的输出结果进行汇总。 Hadoop Distribute FileSystem（HDFS） 高扩展性 可以方便的扩展数据节点。 高效性 基于高速网络快速的在各节点之间传输数据。 高容错性 一份数据存放多个副本，自动重新分配失败的任务。;Hadoop是什么 Hadoop是如何运作的 Hadoop能做什么 大数据时代三架马车;MapReduce;统计词频;HDFS;数据存取策略;Hadoop操作命令;Hadoop是什么 Hadoop是如何运作的 Hadoop能做什么 大数据时代三架马车;Hadoop不是万能的;Hadoop是什么 Hadoop是如何运作的 Hadoop能做什么 大数据时代三架马车;;Hive Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。 数据存储 Table 每个表对应HDFS上一个目录。 Partition 对指定列根据列值进行分区，每个区一个目录。 Bucket 对指定列进行Hash分区，每个区一个目录。 External Table 对应HDFS一个目录路径，删除表，数据不会删除;Hbase (Hadoop DataBase) HBase是一个分布式的、面向列的开源数据库。Hbase依托于Hadoop的HDFS作为最基本存储基础单元。 基本服务 HMaster 管理元数据的信息 管理HRegionServer的负载均衡 HRegionServer 响应用户I/O请求 存储格式 HFile HBase中KeyValue数据的存储格式，HFile是Hadoop的二进制格式文件。 HLogFile HBase中WAL（Write Ahead Log） 的存储格式，物理上是Hadoop的Sequence File。; ;相关框架 ZooKeeper Zookeeper是Google的Chubby一个开源的实现，是高有效和可靠的协同工作系统，Zookeeper能够用来Leader选举，配置信息维护等。 Sqoop Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可???将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。