大数据离线分析项目Hoop.pdfVIP

大数据离线分析项目Hoop--第1页

一、项目总体需求、具体设计

1、总体需求：捕获用户每天的行为数据,生成业务日志文件,根据日志文件

清洗、分析、提取出需要的价值信息pv：页面浏览量uv：独立访客数独

立IP会话时长等,对网站的良好运营提供有价值的指标;

2、具体设计

捕获JsSDK用户行为数据launch事件、pageView事件、event事件、

chargerequet事件

将捕获的数据发送给web服务器,生成日志文件Nginx

将日志文件上传至文件存储系统中Shell脚本、Flume

在文件存储系统中对日志文件进行清洗,过滤掉脏数据和不需要的字段

MapReucejob任务

将过滤后的日志文件导入到数据库中HBase

通过MapReduce程序或Hive进行统计分析Hive

将统计分析后的结果导入