第3.4讲hivepig41990719.pptxVIP

大数据分析与内存计算 第3.4讲 Hive与Pig;提纲;直接使用MapReduce的不足;Hadoop回顾;WordCount，Mapper;WordCount，Reducer;Mapper端的不足;使用Hadoop的缺点;使用Hadoop的缺点;新的需求;改进思路;启发;启发;改进思路;Hive简介;Hive项目介绍;架构;Hive组成部分;;Hive的组成模块（1）;Hive的组成模块（2）;Hive的系统结构;Hive的数据模型;元数据存储：Metastore;;数据的物理分布情况;Hive数据存储;HDFS vs HBase;Hive数据模型;基础DDL;基础DML操作;基础DML操作;DML与MapReduce的关系;DML与MapReduce的关系;DML与MapReduce的关系;DML与MapReduce的关系;HiveQL: INSERT INTO TABLE pageid_age_sum SELECT pageid, age, count(*) FROM pv_users GROUP BY pageid, age;;pageid;HiveQL: INSERT INTO TABLE pv_users SELECT pv.pageid, u.age FROM page_view pv JOIN user u ON (pv.userid = u.userid);;key;更多复杂特性;查询优化;Hive系统的配置;启动Hive的命令行界面shell;创建数据表的命令;生成数据;装入数据;数据查询select语句;查询语句，获取频率最高的单词;数据表的join;建立数据集;建立新的数据表;导入数据;创建一个中间数据表;运行联合查询;Hive深入了解;Hive可以通过不同的形式提供服务;Hive Web Interface(HWI);HWI;HWI界面;Hive客户端;Hive客户端;Hive中的元数据存储metastore;metastore的配置情况;Hive JDBC编程;Hive JDBC;Hive JDBC程序举例;Hive JDBC程序的执行;Hive的分区和桶;Hive的分区和桶;Hive的分区;分区方法举例 1;分区方法举例 2;分区方法举例 3 ;分区的查询方法;Hive中的桶;桶的划分1;桶的划分2;将数据插入到分桶的表中;桶中的数据取样;Hive中的连接操作;Hive中的连接;数据表举例;内连接的结果;左外连接的结果;右外连接的结果;全外连接;半连接（只返回一半的内容并且去重）;Map Join;Hive特性的补充说明;关于更新，事务和索引;Hive总结;Pig简介;Pig项目简介;;;简单的Example;运行pig脚本;pig脚本结构;数据转化;数据转化(FILTER);数据转化(GROUP);数据转化(GROUP);数据转化(inner JOIN);数据转化(inner JOIN);其他;总结(Hive与Pig对比);语言模式;用户友好;数据模式;其他;谢谢！