Hadoop生态圈以及各组成部分的简介.pdfVIP

16 年老品牌，上市IT 培训机构 官方网站 学大数据，就选光环大数据 Hadoop.aura.cn Hadoop 生态圈以及各组成部分的简介 1.Hadoop 是什么? 适合大数据的分布式存储与计算平台 HDFS: Hadoop Distributed File System 分布式文件系统 MapReduce：并行计算框架 2.Hadoop 生态圈 ①HBase Google Bigtable 的开源实现 列式数据库 可集群化 可以使用shell、web 、api 等多种方式访问 适合高读写(insert)的场景 HQL 查询语言 NoSQL 的典型代表产品 想拿高薪，选对行业很重要！学大数据，工资高，前景好！ 16 年老品牌，上市IT 培训机构 官方网站 学大数据，就选光环大数据 Hadoop.aura.cn ②Hive 数据仓库工具。可以把Hadoop 下的原始结构化数据变成Hive 中的表 支持一种与SQL 几乎完全相同的语言HiveQL。除了不支持更新、索引和事务，几乎 SQL 的其它特征都能支持 可以看成是从SQL 到Map-Reduce 的映射器 提供shell、JDBC/ODBC 、Thrift 、Web 等接口 想拿高薪，选对行业很重要！学大数据，工资高，前景好！ 16 年老品牌，上市IT 培训机构 官方网站 学大数据，就选光环大数据 Hadoop.aura.cn ③Zookeeper Google Chubby 的开源实现 用于协调分布式系统上的各种服务。例如确认消息是否准确到达，防止单点失效，处 理负载均衡等 应用场景：Hbase，实现Namenode 自动切换 工作原理：领导者，跟随者以及选举过程 ④Sqoop 用于在Hadoop 和关系型数据库之间交换数据 通过JDBC 接口连入关系型数据库 想拿高薪，选对行业很重要！学大数据，工资高，前景好！ 16 年老品牌，上市IT 培训机构 官方网站 学大数据，就选光环大数据 Hadoop.aura.cn ⑤Chukwa 架构在Hadoop 之上的数据采集与分析框架 主要进行日志采集和分析 通过安装在收集节点的“代理”采集最原始的日志数据 代理将数据发给收集器 收集器定时将数据写入Hadoop 集群 指定定时启动的Map-Reduce 作业队数据进行加工处理和分析 ⑥Pig Hadoop 客户端 使用类似于SQL 的面向数据流的语言Pig Latin 想拿高薪，选对行业很重要！学大数据，工资高，前景好！ 16 年老品牌，上市IT 培训机构 官方网站 学大数据，就选光环大数据 Hadoop.aura.cn Pig Latin 可以完成排序，过滤，求和，聚组，关联等操作，可以支持自定义函数 Pig 自动把Pig Latin 映射为Map-Reduce 作业上传到集群运行，减少用户编写Java 程序的苦恼 ⑦Avro 数据序列化工具，由Hadoop 的创始人Doug Cutting 主持开发  用于支持大批量数据交换的应用。支持二进制序列化方式，可以便捷，快速地处理大 量数据  动态语言友好，Avro 提