Hadoop大数据技术与项目实战 实训指导书——4.2.1 ODS层启动日志表设计及数据加载.pdf

山西职业技术学院《Hadoop大数据技术与项目实战》

ODS层启动日志表设计及数据加载

一、任务描述

在本课程的电商数仓项目当中，采用五层架构来构建离线数据仓库，第一层是ODS

层，即原始数据层，第二层DWD层，即明细数据层，第三层DWS层，即服务数据层，

第四层DWT层,即数据主题层,第五层ADS层，即数据应用层。整个离线数据仓库的开

发会按照这个流程来进行，本次任务是创建ODS层启动日志表ods_start_log，以及该

表数据的加载。

二、能力目标

1.了解ODS层的设计与开发标准

2.熟悉ODS层的拉兹罗压缩格式

3.会按照日期对数据进行分区

三、任务准备

启动HDFS及YARN服务

四、任务实施

首先需要启动Hive服务，在node1会话窗口启动Hive的元数据服务，进入监听状

态。

[bigdata@node1~]$hive--servicemetastore

然后再复制一个node1会话窗口，进入hive的客户端

[bigdata@node1~]$hive

1.创建启动日志表ods_start_log

（1）创建uzest（优斯特）数据库

在hive命令行中查看有哪些数据库。

1

山西职业技术学院《Hadoop大数据技术与项目实战》

hive(default)showdatabases;

OK

database_name

db_test

default

Timetaken:1.871seconds,Fetched:2row(s)

接下来，创建本项目的uzest（优斯特）数据库。

hive(default)createdatabaseuzestlocation/project/offlineDataWarehouse/uzest.

db/uzest.db;

OK

Timetaken:4.881seconds

查看创建的uzest数据库。

hive(default)showdatabases;

OK

database_name

db_test

default

uzest

Timetaken:0.095seconds,Fetched:3row(s)

在HDFS上查看刚创建的优斯特（uzest）数据库对应的目录结构

2

山西职业技术学院《Hadoop大数据技术与项目实战》

（2）创建启动日志表ods_start_log

输入useuzest;命令进入该数据库

hive(default)useuzest;

OK

Timetaken:0.527seconds

删除同名表操作。

hive(uzest)droptableifexistsuzest.ods_start_log;

OK

Timetaken:0.712seconds

创建启动日志表ods_start_log。

hive(uzest)createtableifnotexistsuzest.ods_start_log(

`line`stringcomment用户行为启动日志数据

)comment启动日志表

PARTITIONEDBY(`dt`string)

STOREDAS

INPUTFORMATcom.hadoop.mapred.DeprecatedLzoTextInputForm

at

OUTPUTFORMATorg.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextO

utputFormat

LOCATION/project/offlineDat