HiveQL应用培训.ppt

The End Thanks ! * * * * * * * * * * * * * * * * * * * * * * * * * * HiveQL应用培训 目录 HIVE开发客户端 HIVE基础 HIVE注意事项 HIVE UDF函数 HIVE 开发经验分享 安装VirtualBox 导入虚机 “管理”- “导入虚拟电脑” 登陆 用户名/密码：cloudera/cloudera 虚机的安装和应用 使用Chrome、Firefox、Safari打开：http://IP:8088 用户名/密码：hive/hive 访问网页客户端 HUE应用 SQL GUI客户端 修改Hive连接库设置 SQL GUI客户端2 Hadoop 家族成员 分布式文件系统 分布式计算模型 类SQL的数据仓库工具 分布式面向列的开源数据库 分布式应用程序协调服务 HIVE基础—基本概念 Hive是一个基于Hadoop建立的数据仓库基础架构。他提供了一种基于SQL的类SQL语言，叫Hive QL，支持熟悉SQL的用户方便地进行查询，存储和分析数据。同时，这个语言也允许熟悉 Map/Reduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的 mapper 和 reducer 无法完成的复杂的分析工作。 HIVE基础 Hadoop将Job分成task进行处理，共两种task： map task和reduce task Hadoop有两类的节点控制job的运行：JobTracker和TaskTracker JobTracker协调整个job的运行，将task分配到不同的TaskTracker上 TaskTracker负责运行task，并将结果返回给JobTracker Hadoop将输入数据分成固定大小的块，我们称之input split Hadoop为每一个input split创建一个task，在此task中依次处理此split中的一个个记录(record) Hadoop会尽量让输入数据块所在的DataNode和task所执行的DataNode(每个DataNode上都有一个TaskTracker)为同一个，可以提高运行效率，所以input split的大小一般是HDFS的block的大小。 HIVE基础 Map-Reduce Job运行原理 Reduce task的输入一般为Map Task的输出，Reduce Task的输出为整个job的输出，保存在HDFS上。 在reduce中，相同key的所有的记录一定会到同一个TaskTracker上面运行，然而不同的key可以在不同的TaskTracker上面运行，我们称之为partition partition的规则为：(K2, V2) – Integer， 也即根据K2，生成一个partition的id，具有相同id的K2则进入同一个partition，被同一个TaskTracker上的Reducer进行处理。 HIVE基础—Map-Reduce Job运行原理 HIVE基础—Map-Reduce Job运行原理 HIVE结构 1. master/slave结构 2. NameNode 维护集群内的元数据，对外提供创建、打开、删除和重命名文件或目录的功能 3. DataNode 存储数据，并提负责处理数据的读写请求。DataNode定期向NameNode 上报心跳 4. /common/docs/r0.18.2/cn/hdfs_design.html Hive 和数据库的异同 查询语言 HQL SQL 数据存储位置 HDFS Raw Device 或者 Local FS 数据格式 用户定义 系统决定 数据更新 不支持 支持 索引 无 有 执行 MapRedcue Executor 执行延迟 高 低 可扩展性 高 低 数据规模 大 小 HIVE基础操作 建表: drop table sample_01 ; create external table sample_01 ( code string ,description string ,total_emp int ,salary int ) partitioned by (dt string) row format deli