大数据技术原理与操作应用配套教程课件完整版电子教案.ppt

10. 2 电子商务离线数据统计案例 本案例通过模拟真实的电子商务业务的场景,应用大数据组件和技术来处理日志数据和业务数据,从而达到学习大数据离线批处理的步骤和流程。 本案例的数据来源分为两部分:一部分是用户的网站日志,另一部分是电商平台业务数据库中的数据。 结合这两方面的数据通过大数据平台来实现数据仓库分层搭建,并进行数据报表分析得到活跃、转化率、GVM 指标,最终将结果导入关系型数据库,进行可视化展示。 案例设计思路流程 ①将电商用户的网站日志数据采集到 HDFS 上存储。 ②在电商业务里数据加载到订单表和支付流水表。 ③将电商网站日志加载到 Hive。 ④将②中的业务数据通过 Sqoop 加载进 Hive。 ⑤结合业务数据④和日志数据③分析得到结果存到数据报表,并进一步分析得到活跃、转化率、GVM 指标。 ⑥通过 Sqoop 将结果数据⑤导出到 MySQL。 ⑦将⑥中的数据进行可视化展示。 案例设计思路流程图 为了便于将数据提取后进行统计，要把Hive中的数据分层次，按层次划分归类后的数据再进行导出和可视化处理。数据分层次的情况如图： 10.2 模块开发-数据采集 使用Flume搭建日志采集系统 将电商用户的网站日志数据采集到HDFS上存储，需要用Flume采集系统需要在服务器上部署Agent节点，从而对电商用户行为