离线大数据分析平台day.pdfVIP

IT在线教育领导品牌 EDUCATION TO CREATE A BRIGHT FUTURE 大数据综合项目实战 离线大数据分析平台—day3 主讲人：Gerry Liu 上海育创 IT在线教育领导品牌 课程目录 EDUCATION TO CREATE A BRIGHT FUTURE 分析MR任务实现 Hourly分析Hive实现 Highcharts 数据展示代码讲解 项目总结及答疑 2/31 IT在线教育领导品牌 分析业务讲解 EDUCATION TO CREATE A BRIGHT FUTURE 目标：统计 流中各个 的触发次数，不涉及到去重，一个会话 中一个用户触发多次，对于 值计算多次。 注意： 计算 触发次数的时候，除了数据流的第一个 外，其他 必须发生 之前必须有前一个 的发生 所有 必须位 一个会话中， 位于多个会话，分为两个 流来进 行计算 3/31 IT在线教育领导品牌 分析-MR任务 EDUCATION TO CREATE A BRIGHT FUTURE MapReduce任务 输入： 在HBase上的ETL操作完的日志数据，要求 类型为event Mapper ：数据数据过滤操作 Reduce ： 流分析，过滤非正常的 流，计算 流中各个 的触发 次数 输出：直接 到MySQL中 4/31 IT在线教育领导品牌 Hourly分析业务讲解 EDUCATION TO CREATE A BRIGHT FUTURE 目标：分析一天24个时间段的新增用户、活跃用户、会话个数和会话 长度四个指标的数据 注意： 一个用户/会话跨小时，那么分别在两个小时指标中计算 没有 数据，默认值为0 5/31