Hadoop大数据技术与项目实战 实训指导书——4.3.2 DWD层启动日志表设计及数据加载.pdf

山西职业技术学院《Hadoop大数据技术与项目实战》

DWD层启动日志表设计及数据加载

一、任务描述

首先创建DWD层的启动日志表dwd_start_log，使用get_json_object()函数对上一

层ODS层ods_start_log表的line字段值进行解析抽取后，执行insertoverwrite操作，

将查询出的数据插入到DWD层的启动日志表dwd_start_log中，在插入过程中，将当前

的统计日期“dt”作为分区字段。

二、能力目标

1.掌握使用时间维度将数据分区

2.会使用get_json_object()函数解析抽取数据

三、任务准备

1.启动HDFS及YARN服务

2.启动Hive元数据服务及客户端

四、任务实施

1.创建DWD层的启动日志表dwd_start_log

在node1节点的Hive会话窗口中，切换到uzest数据库

hive(default)useuzest;

执行删除同名表的操作

hive(uzest)droptableifexistsdwd_start_log;

在当前的DWD层，启动日志表当中包含有两种含义的字段，第一种字段是用户行

为日志当中的公共字段部分，第二种字段，是用户行为日志当中的启动事件字段，在创

1

山西职业技术学院《Hadoop大数据技术与项目实战》

建该表的时候，该表选择了分区表的建表方式，因为每天都会生成大量的用户行为数据

需要去处理。根据业务背景，该表采用日期进行分区存储。同时，该表还采用parquet

列式存储的方式来对当前表的数据进行存储，并且在建表时，指定了该表对应在HDFS

上的存储路径。在使用列式存储数据的同时，采用了拉兹罗的压缩格式，目的是提高当

前表数据在查询过程中的效率。

执行建表语句：

hive(uzest)createtableifnotexistsdwd_start_log(

`mid_id`string,--设备id

`user_id`string,--用户id

`version_code`string,--程序版本号

`version_name`string,--程序版本名

`lang`string,--系统语言

`source`string,--渠道号

`os`string,--Android系统版本

`area`string,--区域

`model`string,--手机型号

`brand`string,--手机品牌

`sdk_version`string,--sdkVersion

`gmail`string,--app名称

`height_width`string,--屏幕宽高

`app_time`string,--客户端日志产生时的时间

`network`string,--网络模式

`lng`string,--经度

`lat`string,--纬度

`entry`string,--入口

`open_ad_type`string,--开屏广告类型

`action`string,--状态

2

山西职业技术学院《Hadoop大数据技术与项目实战》

`loading_time`string,-