Hadoop大数据技术与项目实战 实训指导书——4.6.4 本周回流用户数据表设计及数据加载.pdf

山西职业技术学院《Hadoop大数据技术与项目实战》

本周回流用户数据表设计及数据加载实训指导书

一、任务描述

本周回流用户，是指某一用户设备在上周之前登录过，但上周没有登录，同时在本

周登录过，且不是本周的新增用户。

创建ADS层的本周回流用户数据表，包含统计日期、统计日期所在周、回流设备

数字段，本节统计在一个月的时间周期内，设定某一统计日期，然后统计出本周回流用

户数，即从本周活跃用户中去掉本周新增的用户，将上周活跃用户查询出来，再从两份

数据中获取到本周活跃但上周没有活跃的用户。

二、能力目标

1.能理解ADS层本周回流用户数据表的设计意义

2.掌握CONCAT函数的使用方法

3.能灵活运用LEFTJOIN及Unionall完成查询操作

三、任务准备

1.启动HDFS及YARN服务

2.启动Hive元数据服务及客户端

四、任务实施

1.创建ADS层本周回流用户数据表ads_back_count

切换到uzest数据库，执行删除同名表操作。

hive(default)useuzest;

hive(uzest)DROPTABLEIFEXISTSads_back_count;

1

山西职业技术学院《Hadoop大数据技术与项目实战》

接下来创建本周回流用户数据表ads_back_count，在本表中，包含有3个字段，

dt是统计日期字段，wk_dt是统计日期所在周字段，wastage_count是回流设备数字段。

执行如下建表语句。

hive(uzest)createtableifnotexistsads_back_count(

`dt`stringCOMMENT统计日期,

`wk_dt`stringCOMMENT统计日期所在周,

`wastage_count`BIGINTCOMMENT回流设备数

)

ROWformatdelimited

FIELDSTERMINATEDBY\t

location/project/offlineDataWarehouse/uzest.db/ads/ads_back_count

;

2.加载ads_back_count表数据

统计2021年4月30日所在周的回流用户数，执行如下HQL语句。

hive(uzest)INSERToverwriteTABLEads_back_count

Select*fromads_back_count

Unionall

SELECT--3.从两份数据中，获取到本周活跃但上周没有活跃的

用户

2021-04-30,

CONCAT(date_add(next_day(2021-04-30,MO),-7),_,d

ate_add(next_day(2021-04-30,MO),-1)),

count(*)

FROM

(

SELECT--1.从本周活跃用户中去掉了本周新增的用户

mid_id

FROMdwt_uv_topic

2

山西职业技术学院《Hadoop大数据技术与项目实战》

WHERElogin_date_last=date_add(next_day(2021