Hive综合案例：电商网站日志离线分析.pdfVIP

hive综合案例——日志离线分析案例

【实验环境】

JDK1.7、hadoop2.7.3、hive1.2.2、

【实验数据】

该数据于某平台条日志信息。进行后的字段如下：

字段定义

IP（用户的IP地址）

atime(记录时间)

url（的资源）

数据集路径为“/data/bigdata/simple_demo/demo2”，各字段以制表符分隔。

数据集的前5行为：

【实验步骤】

一、数据处理

将数据集导入Hive上（注意：hadoop集群需要启动，hive任意目录可以启动），表名为

“techbbs”中，并建立分区“logdate”(以时间为分区)。

在主节点进入hive：hive启动hadoop：start-all.sh(Master为主节点)

1.1在hdfs系统创建目录：hadoopfs-mkdir/simple_demo/demo2;

1.2创建表techbbsCREATEEXTERNALTABLEtechbbs(ipstring,atimestring,urlstring)PA

RTITIONEDBY(logdatestring)ROWFORMATDELIMITEDFIELDSTERMINATEDBY

\tLOCATION/simple_demo/demo2;

1.3给创建的表techbbs增加分区

ALTERTABLEtechbbsADDPARTITION(logdate=2015_04_25)LOCATION/simple_dem

o/demo2/2015_04_25;

ALTERTABLEtechbbsADDPARTITION(logdate=2015_04_26)LOCATION/simple_d

emo/demo2/2015_04_26;

ALTERTABLEtechbbsADDPARTITION(logdate=2015_04_27)LOCATION/simple_d

emo/demo2/2015_04_27;

ALTERTABLEtechbbsADDPARTITION(logdate=2015_04_28)LOCATION/simple_d

emo/demo2/2015_04_28;