Hadoop大数据技术与项目实战 实训指导书——4.4.1 DWS层每日设备行为表设计及数据加载.pdf

山西职业技术学院《Hadoop大数据技术与项目实战》

DWS层每日设备行为表设计及数据加载

一、任务描述

首先创建DWS层的每日设备行为表dws_uv_detail_daycount，并对该表实现数据加

载。对DWD层启动日志表dwd_start_log中的数据进行分组，将每个字段的值转换成集

合类型数据，并进行格式化处理，将处理后的数据加载到dws_uv_detail_daycount表中。

二、能力目标

1.理解concat_ws函数功能，能正确使用该函数

2.理解collect_set函数功能，能正确使用该函数

三、任务准备

1.启动HDFS及YARN服务

2.启动Hive元数据服务及客户端

四、任务实施

1.创建每日设备行为表dws_uv_detail_daycount

在Hive会话窗口中，切换到uzest数据库，执行删除同名表dws_uv_detail_daycount

的操作。

hive(default)useuzest;

hive(uzest)DROPTABLEIFEXISTSdws_uv_detail_daycount;

接下来，创建DWS层的每日设备行为表，为加载DWD层启动日志数据做准备。

该表字段与DWD层启动日志表的字段完全相同，如设备唯一标识、用户标识等字

段，该表同样使用日期“dt”字段进行分区，并且使用parquet列式存储格式进行数据存

1

山西职业技术学院《Hadoop大数据技术与项目实战》

储，使用location关键字指定该表在HDFS上的存储路径，使用拉兹罗压缩格式。执行

建表语句：

hive(uzest)createtableifnotexistsdws_uv_detail_daycount(

`mid_id`stringCOMMENT设备唯一标识,

`user_id`stringCOMMENT用户标识,

`version_code`stringCOMMENT程序版本号,

`version_name`stringCOMMENT程序版本名,

`lang`stringCOMMENT系统语言,

`source`stringCOMMENT渠道号,

`os`stringCOMMENT安卓系统版本,

`area`stringCOMMENT区域,

`model`stringCOMMENT手机型号,

`brand`stringCOMMENT手机品牌,

`sdk_version`stringCOMMENTsdkVersion,

`gmail`stringCOMMENTgmail,

`height_width`stringCOMMENT屏幕宽高,

`app_time`stringCOMMENT客户端日志产生时的时间,

`network`stringCOMMENT网络模式,

`lng`stringCOMMENT经度,

`lat`stringCOMMENT纬度

)

partitionedBY(dtstring)

storedASparquet

location/project/offlineDataWarehouse/uzest.db/dws/dws_uv_detail_

daycount

tblproperties(pression=lzo);

2.加载dws_