Hadoop大数据技术与项目实战 实训指导书——2.4.5 HQL统计分析案例.pdf

山西职业技术学院《Hadoop大数据技术与项目实战》

HQL统计分析案例

一、任务描述

之前学习了HQL语句基本操作，本任务在此基础上完成一个统计分析案例，案例

要求从一张表中将每个班级95分以上的人数统计出来，存放到另一个表中，并进行结

果查询。

首先要创建t_stu表，导入准备好的数据，对其中的数据进行统计计算，计算出每

个班级95分以上的总人数，再创建t_result表，将计算结果存入该表中。

二、能力目标

1.能理解案例思路

2.会对Hive表中的数据进行统计、计算

三、任务准备

1.启动Hadoop集群

2.启动Hive服务

四、任务实施

1.创建t_stu数据表

切换到db_test数据库。

hive(default)usedb_test;

输入如下建表语句，在db_test数据库中创建t_stu数据表。

hive(db_test)createtablet_stu(

idint,

namestring,

sexstring,

1

山西职业技术学院《Hadoop大数据技术与项目实战》

ageint,

scoreint,

classstring

)

rowformatdelimitedfieldsterminatedby,;

2.准备数据

复制一个新的node1会话窗口，切换到/opt/testData目录下。

[bigdata@node1~]$cd/opt/testData/

编辑data.txt文件，准备输入数据。

[bigdata@node1testData]$vimdata.txt

在data.txt中输入以下内容，输入“:wq”保存退出。

1,zhangsan,man,20,95,java

2,lisi,man,22,90,java

3,wangwu,man,22,98,java

3.加载数据

切换到Hive命令窗口，将data.txt中的数据加载到t_stu表中。

hive(db_test)loaddatalocalinpath/opt/testData/data.txtintotablet_stu;

查看t_stu表中的数据。

hive(db_test)select*fromt_stu;

OK

t_stu.idt_stu.namet_stu.sext_stu.aget_stu.scoret_stu.class

1zhangsanman2095java

2lisiman2290java

3wangwuman2298java

4.创建存放统计结果的数据表t_result

在hive命令行中输入如下建表语句，创建t_result数据表。

2

山西职业技术学院《Hadoop大数据技术与项目实战》

hive(db_test)createtablet_result(

classstring,

cntint

)

rowformatdelimitedfieldsterminatedby,;

5.统计并将结果加载到t_result表中

在Hive命令行中输入如下语句，统计t_stu表中95分以上的人数以及所在班级，

并插入到t_result表中。

hive(db_test)insertintot_result

selectclass,count(*)