《Hadoop大数据开发实战》教学教案—11综合项目-电商精准营销.docxVIP

Hadoop大数据开发实战 教学设计 课程名称：Hadoop大数据开发实战 授课年级： ______ ______________ ___ 授课学期： ___ ____ ________ ________ 教师姓名： ______________ ________ 课程名称 第11章 综合项目-电商精准营销 计划学时 4学时 内容分析 本章主要介绍项目概述、项目详细介绍、项目模块分析、数据采集、数据清洗、使用数据仓库进行数据分析、可视化 教学目标 与 教学要求 要求学生了解项目背景及需求，了解项目中的架构设计，了解数据来源，掌握数据清洗流程，掌握数据仓库操作流程，掌握应用测试方法。 教学重点 项目模块分析、数据采集、数据清洗、使用数据仓库进行数据分析、可视化 教学难点 项目模块分析、数据采集、数据清洗、使用数据仓库进行数据分析、可视化 教学方式 课堂讲解及ppt演示 教 学 过 程 第一课时 （项目概述、项目详细介绍、项目模块分析、数据采集、数据清洗） 回顾内容，引出本课时主题 1.回顾内容，引出本课时的主题 在前面的章节中，详细讲解了Hadoop的基础知识与核心技术，以及各相关组件的使用，包括Hadoop、Hive、HBase、Zookeeper、Flume、Sqoop等。本节将通过一个企业级真实项目案例，串联前面所学的知识点，讲解这些知识点在实际开发过程中的应用。 2.明确学习目标 能够了解项目详细介绍 能够掌握项目模块分析 能够掌握数据采集 能够掌握数据清洗 知识讲解 项目背景介绍 电商网站上线之后，利用大数据技术，收集用户的行为数据，进行多维度统计分析，掌握网站线上运营情况，将分析结果生成相应的数据报表，提供给运营部门进行业务分析。运营部门利用数据报表，可以制订出相应的网站优化方案，调整广告投入，组织举办更好的促销、精准营销等活动。 项目架构设计 项目架构：数据源（JS、SDK）—数据采集（Flume）—数据预处理（MapReduce）—数据仓库（Hive）—数据导出（Sqoop）—数据存储（MySQL）—数据可视化。 （1）数据采集。每当用户通过PC端或者移动端访问商城网站时，网站前台后台程序均会产生日志信息，前台通过JS（JavaScript）收集到Nginx服务器中，后台通过SDK（Software Development Kit，软件开发工具包）收集到Nginx服务器中。然后在Nginx服务器中部署Flume Agent采集软件，实时监控目录，将产生的日志文件实时的采集到HDFS当中。 （2）数据预处理。将采集到的数据按照项目需求进行初步的清洗，得到项目中需要使用到的字段数据。 （3）数据仓库。由于MapReduce操作数据编写流程过于复杂，这里采用Hive来对数据进行处理。将数据导入到Hive中，按照项目的需求，写SQL语句来实现。 （4）数据存储。处理之前的数据以及Hive的输出数据都存储在HDFS中，读取十分缓慢，很容易造成超时，这里采用Sqoop工具，将数据导入到MySQL中。 （5）数据可视化，为了更直观的展示数据结果，对得到的数据结果进行可视化操作。 项目核心关注点 本项目收集不同客户端的用户行为数据，通过MapReduce、Hive进行数据分析处理，将分析结果数据保存到关系型数据库中。在此过程中需要对几个核心的关注点进行详细分析。 购买率：购买的人数/总人数 购买的人数/查看该商品的总人数。 复购率：n次购买的人数 / n-1次购买的人数(N=2)。 订单数量，订单金额，订单的类型。 ①成功订单数量、成功订单金额、成功订单的类型。 ②退款订单数量、退款订单金额、退款订单的类型。 访客人数/会员人数。 访客转会员的比例。 广告推广效果。 网站内容相关的分析(网站的跳出率、页面的跳出率)。 重要概念 访客 访问网站指定用户、一般称为自然人，区分PC、手机： 访客统计指标如下。 新增访客：第一次访问系统的访客人数。 活跃访客：给定时间段内访问过系统的访客人数(老访客+新访客)。 总访客：迄今为止访问过系统的访客总人数。 流失访客：上一个时间段内访问过系统，当前时间段内没有访问系统的访客人数。 回流访客：上一个时间段内没有访问过系统，当前时间段内访问过系统的访客人数 2. 会员 业务系统中注册用户、直接使用业务系统中会员标识符来标识。访客登录系统后，就成为会员。 会员统计指标如下。 新增会员：第一次登录系统的会员人数。 活跃会员：给定时间段内登录过系统的会员人数(老会员+新会员)。 总会员：迄今为止新增会员的总人数。 回流会员。 流失会员。 访客转会员比例。 新增访客转会员的比例。 3. 会话 用户进入到系统到离开系统这一段时间被成