Hadoop大数据技术与项目实战 实训指导书——4.3.1 项目JSON解析函数及应用.pdf

山西职业技术学院《Hadoop大数据技术与项目实战》

项目JSON解析函数及应用

一、任务描述

为了能够更好的理解项目中使用到的HQL语句，本任务对JSON格式字符串数据进

行解析，学习get_json_object函数的具体使用。

二、能力目标

1.理解get_json_object()函数的功能

2.掌握get_json_object()函数的使用方法

三、任务准备

1.启动HDFS服务

2.启动Hive元数据服务及客户端

四、任务实施

1.创建表及加载数据

（1）创建数据文件

在node1节点的/opt/testData/目录下，创建data.txt文件。

[bigdata@node1~]$cd/opt/testData/

[bigdata@node1testData]$vimdata.txt

将课程资源中的JSON数据拷贝到data.txt文件中，保存并退出。

（2）创建数据表

在Hive命令行中创建内部表t_json，字段分别为f1,f2,f3，对应的数据类型均为

String，指定数据格式化声明，字段之间用空格隔开。执行语句：

hive(default)createtableifnotexistst_json(

1

山西职业技术学院《Hadoop大数据技术与项目实战》

f1string,

f2string,

f3string

)

rowformatdelimited

fieldsTERMINATEDBY;

OK

Timetaken:2.395seconds

（3）加载数据

在Hive命令行中执行load命令，将data.txt中的数据加载到t_json表中。

hive(default)loaddatalocalinpath/opt/testData/data.txtintotablet_json;

2.数据加载校验

执行select命令进行数据加载校验，查看数据是否加载成功。

hive(default)select*fromt_json;

OK

t_json.f1t_json.f2t_json.f3

first{store:{fruit:[{weight:8,type:apple},{weight:9,type:pear}],bicycle:{price

:19.951,color:red1}},email:amy@only_for_json_udf_test.net,owner:amy1}th

ird

first{store:{fruit:[{weight:9,type:apple},{weight:91,type:pear}],bicycle:{pric

e:19.952,color:red2}},email:amy@only_for_json_udf_test.net,owner:amy2}th

ird

first{store:{fruit:[{weight:10,type:apple},{weight:911,type:pear}],bicycle:{p

rice:19.953,color:red3}},email:amy@only_for_json_udf_test.net,owner:amy3}th

ird

Timetaken:4.483seconds,Fetched:3row(s)

3.使用get_json_object函数解析数据

（1）查询JSON数据中某一属性对应的值

2

山西职业技术学院《Hadoop大数据技术与项