大数据基础课程设计报告.docx

大数据基础课程设计报告 一、项目简介： 使用hadoop中的hive、mapreduce以及HBASE对网上的一个搜狗五百万的数进行了一个比较实际的数据分析。搜狗五百万数据，是经过处理后的搜狗搜索引擎生产数据，具有真实性，大数据性，能够较好的满足分布式计算应用开发课程设计的数据要求。 搜狗数据的数据格式为：访问时间\t 用户 ID\t[查询词]\t 该 URL 在返回结果中的排名\t 用户点击的顺序号\t 用户点击的 URL。其中，用户 ID 是根据用户使用浏览器访问搜索引擎时的 Cookie 信息自动赋值，即同一次使用浏览器输入的不同查询对应同一个用户 ID。 二、操作要求 1.将原始数据加载到HDFS平台。 2.将原始数据中的时间字段拆分并拼接，添加年、月、日、小时字段。 3.将处理后的数据加载到HDFS平台。 4.以下操作分别通过MR和Hive实现。 查询总条数 非空查询条数 无重复总条数 独立UID总数 查询频度排名（频度最高的前50词） 查询次数大于2次的用户总数 查询次数大于2次的用户占比 Rank在10以内的点击次数占比 直接输入URL查询的比例 查询搜索过”仙剑奇侠传“的uid，并且次数大于3 5.将4每步骤生成的结果保存到HDFS中。 6.将5生成的文件通过Java API方式导入到HBase（一张表）。 7.通过HBase shell命令查询6导出的结果。 三、实验流程 将原始数据加载到HDFS平台 将原始数据中的时间字段拆分并拼接，添加年、月、日、小时字段 编写1个脚本sogou-log-extend.sh，其中sogou-log-extend.sh的内容为： #!/bin/bash #infile=/root/sogou.500w.utf8 infile=$1 #outfile=/root/filesogou.500w.utf8.ext outfile=$2 awk -F '\t' '{print $0"\t"substr($1,0,4)"年\t"substr($1,5,2)"月\t"substr($1,7,2)"日\t"substr($1,8,2)"hour"}' $infile > $outfile 处理脚本文件： bash sogou-log-extend.sh sogou.500w.utf8 sogou.500w.utf8.ext 结果为： 将处理后的数据加载到HDFS平台 hadoop fs -put sogou.500w.utf8.ext / 以下操作分别通过MR和Hive实现 Ⅰ.hive实现 1.查看数据库：show databases; 2.创建数据库: create database sogou; 3.使用数据库: use sogou; 4.查看所有表：show tables; 5.创建sougou表：Create table sogou(time string,uuid string,name string,num1 int,num2 int,url string) Row format delimited fields terminated by '\t'; 6.将本地数据导入到Hive表里：Load data local inpath '/root/sogou.500w.utf8' into table sogou; 7.查看表信息：desc sogou; 查询总条数 select count(*) from sogou; 非空查询条数 select count(*) from sogou where name is not null and name !=''; 无重复总条数 select count(*) from (select * from sogou group by time,num1,num2,uuid,name,url having count(*)=1) a; 独立UID总数 select count(distinct uuid) from sogou; 查询频度排名（频度最高的前50词） select name,count(*) as pd from sogou group by name order by pd desc limit 50; （6）查询次数大于2次的用户总数 select count(a.uuid) from (select uuid,count(*) as cnt from sogou group by uuid having cnt > 2) a; （7）查询次数大于2次的用户占比 select count(*) from (select uuid,count(*) as cnt from sogou group by