大数据离线分析项目Hadoop.docVIP

下载本文档

11
0
约1.96千字
约 18页
2020-08-30 发布于天津
举报

大数据离线分析项目Hadoop.doc

大数据离线分析项目一项目总体需求具体设计总体需求捕获用户每天的行为数据生成业务日志文件根据日志文件清洗分析提取出需要的价值信息页面浏览量独立访客数独立会话时长等对网站的良好运营提供有价值的指标具体设计捕获用户行为数据事件事件事件事件将捕获的数据发送给服务器生成日志文件将日志文件上传至文件存储系统中脚本在文件存储系统中对日志文件进行清段字需要的不过滤掉脏数据和洗任务将过滤后的日志文件导入到数据库中进行统程序或通过计分析将统计分析后的结果导入到本地数据库中进行永久储存示展进在前端行项目架构画图二具体

(Hadoop) 大数据离线分析项目一、项目总体需求、具体设计 1、总体需求：捕获用户每天的行为数据，生成业务日志文件，根据日志文件清洗、分析、提取出需要的价值信息（pv：页面浏览量 uv：独立访客数独立IP 会话时长等），对网站的良好运营提供有价值的指标。 2、具体设计 2.1捕获（JsSDK）用户行为数据（launch事件、pageView事件、event事件、chargerequet事件） 2.2将捕获的数据发送给web服务器，生成日志文件（Nginx） 2.3将日志文件上传至文件存储系统中（Shell脚本、Flume）在文件存储系统中对日志

您可能关注的文档

文档评论（0）

1亿VIP精品文档

更多 >

大数据离线分析项目Hadoop.docVIP