Hadoop大数据技术与项目实战 实训指导书——4.6.2 每日新增用户数据表设计及数据加载.pdf

山西职业技术学院《Hadoop大数据技术与项目实战》

每日新增用户数据表设计及数据加载实训指导书

一、任务描述

创建ADS层的每日新增设备数据表，字段包含统计日期及新增设备数量两个字段。

对该表进行数据加载，统计出当天的新增设备数。

二、能力目标

1.掌握count聚合函数进行统计操作

2.掌握unionall纵向拼接操作

三、任务准备

1.启动HDFS及YARN服务

2.启动Hive元数据服务及客户端

四、任务实施

1.创建ADS层每日新增设备数据表ads_new_mid_count

切换到uzest数据库，首先执行删除同名表操作。

hive(default)useuzest;

hive(uzest)DROPTABLEIFEXISTSads_new_mid_count;

接下来，创建每日新增设备数据表，表名为ads_new_mid_count，在本表中，包含

有2个字段，create_date字段是统计日期字段，类型为字符串型，new_mid_count是新

增设备数量字段，类型是长整型。执行如下建表语句。

hive(uzest)createtableifnotexistsads_new_mid_count(

`create_date`stringCOMMENT创建时间,

`new_mid_count`BIGINTCOMMENT新增设备数量

1

山西职业技术学院《Hadoop大数据技术与项目实战》

)COMMENT每日新增设备信息数量

ROWformatdelimited

FIELDSTERMINATEDBY\t

location/project/offlineDataWarehouse/uzest.db/ads/ads_new_mid_c

ount/;

执行结束后，在HDFS的/project/offlineDataWarehouse/uzest.db/ads的路径下会创

建ads_new_mid_count表，如下图所示。

同样可以使用查询命令查看uzest数据库中新建的ads_new_mid_count表。

hive(uzest)showtables;

OK

tab_name

ads_new_mid_count

ads_uv_count

dwd_start_log

dws_uv_detail_daycount

dwt_uv_topic

ods_start_log

2

山西职业技术学院《Hadoop大数据技术与项目实战》

Timetaken:1.152seconds,Fetched:6row(s)

2.加载dwt_uv_topic表数据

首先使用select语句查询dwt_uv_topic表，查询出设备首次登录时间为当前统计日

期的设备，只要查询出一条满足条件的记录，就会执行count聚合函数统计，新增设备

数增1，最后，统计出当天的新增设备数。此处统计日期以2021年4月1日为例。接

着，使用unionall操作，将ADS层每日新增设备数据表中的已有数据，与刚统计出来

的当天新增设备数据进行纵向拼接，即追加生成新数据，再次赋值给该表的

new_mid_count字段中，执行下面的HQL语句。

hive(uzest)INSERToverwriteTABLEads_new_mid_count

Select*

Fromads_new_mid_count

Unionall

SELECT

2021-04-01,

count(*