大数据基础专业课程设计方案报告.docVIP

大数据基础课程设计汇报 一、项目介绍： 使用hadoop中hive、mapreduce和HBASE对网上一个搜狗五百万数进行了一个比较实际数据分析。搜狗五百万数据，是经过处理后搜狗搜索引擎生产数据，含有真实性，大数据性，能够很好满足分布式计算应用开发课程设计数据要求。 搜狗数据数据格式为：访问时间\t 用户 ID\t[查询词]\t 该 URL 在返回结果中排名\t 用户点击次序号\t 用户点击 URL。其中，用户 ID 是依据用户使用浏览器访问搜索引擎时 Cookie 信息自动赋值，即同一次使用浏览器输入不一样查询对应同一个用户 ID。 二、操作要求 1.将原始数据加载到HDFS平台。 2.将原始数据中时间字段拆分并拼接，添加年、月、日、小时字段。 3.将处理后数据加载到HDFS平台。 4.以下操作分别经过MR和Hive实现。 查询总条数 非空查询条数 无反复总条数 独立UID总数 查询频度排名（频度最高前50词） 查询次数大于2次用户总数 查询次数大于2次用户占比 Rank在10以内点击次数占比 直接输入URL查询百分比 查询搜索过”仙剑奇侠传“uid，而且次数大于3 5.将4每步骤生成结果保留到HDFS中。 6.将5生成文件经过Java API方法导入到HBase（一张表）。 7.经过HBase shell命令查询6导出结果。 三、试验步骤 将原始数据加载到HDFS平台 将原始数据中时间字段拆分并拼接，添加年、月、日、小时字段 编写1个脚本sogou-log-extend.sh，其中sogou-log-extend.sh内容为： #!/bin/bash #infile=/root/sogou.500w.utf8 infile=$1 #outfile=/root/filesogou.500w.utf8.ext outfile=$2 awk -F \t {print $0\tsubstr($1,0,4)年\tsubstr($1,5,2)月\tsubstr($1,7,2)日\tsubstr($1,8,2)hour} $infile $outfile 处理脚本文件： bash sogou-log-extend.sh sogou.500w.utf8 sogou.500w.utf8.ext 结果为： 将处理后数据加载到HDFS平台 hadoop fs -put sogou.500w.utf8.ext / 以下操作分别经过MR和Hive实现 Ⅰ.hive实现 1.查看数据库：show databases; 2.创建数据库: create database sogou; 3.使用数据库: use sogou; 4.查看全部表：show tables; 5.创建sougou表：Create table sogou(time string,uuid string,name string,num1 int,num2 int,url string) Row format delimited fields terminated by \t; 6.将当地数据导入到Hive表里：Load data local inpath /root/sogou.500w.utf8 into table sogou; 7.查看表信息：desc sogou; 查询总条数 select count(*) from sogou; 非空查询条数 select count(*) from sogou where name is not null and name !=; 无反复总条数 select count(*) from (select * from sogou group by time,num1,num2,uuid,name,url having count(*)=1) a; 独立UID总数 select count(distinct uuid) from sogou; 查询频度排名（频度最高前50词） select name,count(*) as pd from sogou group by name order by pd desc limit 50; （6）查询次数大于2次用户总数 select count(a.uuid) from (select uuid,count(*) as cnt from sogou group by uuid having cnt 2) a; （7）查询次数大于2次用户占比 select count(*) from (select uuid,count(*) as cnt from sogou group by uuid having cnt 2) a; Rank在10以内点击次数占比 select coun