Hive的基础培训预案.pptx

1 2 Hive结构 Hive基础操作 目录 3 Hive的MAP/RED 3 Hive结构图 数据存储 Hive数据以文件形式存储在HDFS的指定目录下 Hive语句生成查询计划，由MapReduce调用执行 用户接口 解析器：生成抽象语法树 语法分析器：验证查询语句 逻辑计划生成器（包括优化器）：生成操作符树 查询计划生成器：转换为map-reduce任务 CLI：启动的时候，会同时启动一个 Hive 副本 Client：Hive 的客户端，用户连接至 Hive Server WUI：通过浏览器访问 Hive 语句 转换 Hive元数据 表名 说明 关联键 BUCKETING_COLS Hive表CLUSTERED BY字段信息(字段名，字段序号) SD_ID?，INTEGER_IDX COLUMNS_V2 Hive表字段信息(字段注释，字段名，字段类型，字段序号) CD_ID DBS 元数据库信息，保存HDFS中存放hive表的路径 DB_ID PARTITION_KEYS Hive分区表分区键 TBL_ID SDS 所有hive表、表分区所对应的hdfs数据目录和数据格式。 SD_ID,CD_ID SD_PARAMS 序列化反