大数据离线分析项目(Hadoop).pdfVIP

网页 资讯 视频 图片 知道 文库 贴吧 采购 地图 | 百度首页 登录 加入VIP 意见反馈 下载客户端 7/8/2019 大数据离线分析项目(Hadoop) - 百度文库 VIP去广告 X 首页 分类 精品内容 申请认证 机构合作 频道专区 会员中心 广 一、 项 目总体需求、具体设计 汽 一、 项 目总体需求、具体设计 百度文库A 专业资料 IT/计算机 计算机软件及应用 c u 1、总体需求：捕获用户每天的行为数据 ，生成业务 日志文件 ，根据 日志文件清洗、 1、总体需求：捕获用户每天的行为数据 ，生成业务 日志文件 ，根据 日志文件清洗、 r a 全 分析、提取出需要的价值信息 （pv ：页面浏览量 uv ：独立访客数 独立 IP 会话 新 分析、提取出需要的价值信息 （pv ：页面浏览量 uv ：独立访客数 独立 IP 会话 R D X 时长等），对网站的良好运营提供有价值的指标。 时长等），对网站的良好运营提供有价值的指标。 2、具体设计 2、具体设计 2.1 捕获 （JsSDK）用户行为数据 （launch 事件、pageView 事件、event 事件、 2.1 捕获 （JsSDK）用户行为数据 （launch 事件、pageView 事件、event 事件、 chargerequet 事件） chargerequet 事件） 2.2 将捕获的数据发送给 web 服务器 ，生成 日志文件 （Nginx） 2.2 将捕获的数据发送给 web 服务器 ，生成 日志文件 （Nginx） 2.3 将 日志文件上传至文件存储系统中 （Shell 脚本、Flume） 2.3 将 日志文件上传至文件存储系统中 （Shell 脚本、Flume