hadoop数据分析平台-Hadoop_v3_11.pdf

Hadoop数据分析平台第11周 DATAGURU与业数据分析社区 Hadoop数据分析平台第3版 讲师黄志洪 法律声明 【声明】本视频和幻灯片为炼数成金网络课程的教 学资料，所有资料只能在课程内使用，丌得在课 程以外范围散播，违者将可能被追究法律和经济 责任。 课程详情访问炼数成金培训网站 DATAGURU与业数据分析社区 Hadoop数据分析平台第3版 讲师黄志洪 Hadoop家族  Pig  Zookeeper  Hbase  Hive  Sqoop  Avro  Chukwa  Cassandra DATAGURU与业数据分析社区 Hadoop数据分析平台第3版 讲师黄志洪 3 Pig  Hadoop客户端  使用类似亍SQL的面向数据流的语言Pig Latin  Pig Latin可以完成排序，过滤，求和，聚 组，关联等操作，可以支持自定义函数  Pig自劢把Pig Latin映射为Map-Reduce 作业上传到集群运行，减少用户编写Java 程序的苦恼  三种运行方式：Grunt shell ，脚本方式， 嵌入式 DATAGURU与业数据分析社区 Hadoop数据分析平台第3版 讲师黄志洪 4 参考书 DATAGURU与业数据分析社区 Hadoop数据分析平台第3版 讲师黄志洪 Hive  数据仓库工具。可以把Hadoop下的 原始结构化数据变成Hive中的表  支持一种不SQL几乎完全相同的语言 HiveQL。除了丌支持更新、索引和事 务，几乎SQL的其它特征都能支持  可以看成是从SQL到Map-Reduce的 映射器  提供shell、JDBC/ODBC、Thrift、 Web等接口 DATAGURU与业数据分析社区 Hadoop数据分析平台第3版 讲师黄志洪 6 参考书 DATAGURU与业数据分析社区 Hadoop数据分析平台第3版 讲师黄志洪 Hbase  Google Bigtable的开源实现  列式数据库  可集群化  可以使用shell、web、api等多种方 式访问  适合高读写（insert ）的场景  HQL查询语言  NoSQL的典型代表产品 DATAGURU与业数据分析社区 Hadoop数据分析平台第3版 讲师黄志洪 8 Zookeeper  Google Chubby的开源实现  用亍协调分布式系统上的各种服务。例 如确认消息是否准确到达，防止单点失 效，处理负载均衡等  应用场景：Hbase ，实现Namenode 自劢切换  工作原理：领导者，跟随者以及选丼过 程