Hadoop大数据技术与项目实战 实训指导书——4.6.1 活跃用户数据表设计及数据加载.pdf

山西职业技术学院《Hadoop大数据技术与项目实战》

活跃用户数据表设计及数据加载实训指导书

一、任务描述

创建ADS层的活跃用户数据表，包含当前统计日期、当日用户数量（以下简称日

活）、当周用户数量（以下简称周活、）及当月用户数量（以下简称月活），同时判断统

计日期是否为周末和月末等指标。对ADS层的活跃用户数据表进行数据加载，统计日

活、周活及月活三个指标。

二、能力目标

1.能正确理解insertinto和insertoverwrite的区别

2.会灵活使用if函数判断统计日期是否为周末和月末

三、任务准备

1.启动HDFS及YARN服务

2.启动Hive元数据服务及客户端

四、任务实施

1.创建ADS层活跃设备数据表ads_uv_count

切换到uzest数据库，首先执行删除同名表操作。

hive(default)useuzest;

hive(uzest)DROPTABLEIFEXISTSads_uv_count;

接下来创建活跃设备数据表，在本表中，包含有6个字段，分别是当前统计日期、

统计日期下的日活、周活及月活，同时判断统计日期是否为周末和月末等指标。

hive(uzest)createtableifnotexistsads_uv_count(

`dt`stringCOMMENT统计日期,

1

山西职业技术学院《Hadoop大数据技术与项目实战》

`day_count`BIGINTCOMMENT当日用户数量,

`wk_count`BIGINTCOMMENT当周用户数量,

`mn_count`BIGINTCOMMENT当月用户数量,

`is_weekend`stringCOMMENTY,N是否是周末,用于得到本周最终结

果,

`is_monthend`stringCOMMENTY,N是否是月末,用于得到本月最终

结果

)COMMENT活跃设备数

ROWformatdelimited--常规数据表（统计的数据量少，作）无

需做列式存储，及压缩操

FIELDSTERMINATEDBY\t

location/project/offlineDataWarehouse/uzest.db/ads/ads_uv_count/;

2.加载ads_uv_count表数据

接下来对ADS层的活跃设备数表数据进行加载，在DWT层对设备号进行了周期性

的累积统计，统计出了每一个设备的首次登陆时间、末次登录时间以及累积登录天数，

所以基于DWT层的dwt_uv_topic表数据，我们就能够统计出来所需的指标数据。将三

个子查询的结果数据，整合为一个完整的数据集，使用select来进行数据显示。如，将

常量“2021-04-30”赋值给统计日期字段，从日活、周活、月活三个子查询中，查询出数

据赋值给对应字段。接下来使用if函数判断当前统计日期是否为周末，如果是，对应字

段值为“Y”，否则为“N”。同理，使用if函数判断当前统计日期是否为月末，对应字段的

值为“Y”或“N”。执行下面的HQL语句。

INSERTINTOTABLEads_uv_count--注意：当前表中不是分区表，所以不能使用ov

erwrite

SELECT

2021-04-30dt,

daycount.ct,

2

山西职业技术学院《Hadoop大数据技术与项目实战》

wkcount.ct,

mncount.ct,

IF(date_add(next_day(2021-04-30,MO),-1)=2021-04-30,