大数据离线分析项目hoop精编WORD版.docxVIP

一、 项目总体需求、具体设计 1、总体需求：捕获用户每天的行为数据，生成业务日志文件，根据日志文件清洗、 分析、提取出需要的价值信息(pv：页面浏览量UV：独立访客数独立1P会话时 长等)，对网站的良好运营提供有价值的指标。 2、具体设计 捕获(JsSDK)用户行为数据(launch事件、pagcVicw事件、event事件、 chargcrcquct 事件) 将捕获的数据发送给web服务器，生成日志文件(Nginx) 将日志文件上传至文件存储系统中(Shell脚本、Flume) 在文件存储系统中对日志文件进行清洗，过滤掉脏数据和不需要的字段 (MapRcucc job 任务) 将过滤后的日志