2025《电商用户数据分析系统需求分析与设计案例概述》3200字.docxVIP

电商用户数据分析系统需求分析与设计案例概述

目录

TOC\o1-3\h\u4757电商用户数据分析系统需求分析与设计案例概述 1

313811.1功能需求分析 2

225741.2非功能需求分析 3

26949第2章系统设计与技术选型 3

144182.1系统设计 4

11232.1.1系统功能设计 4

296852.1.2采集模块业务设计 4

275532.1.3数仓业务设计 5

113662.1.4数据可视化业务设计 6

168742.2技术选型 6

195452.2.1硬件环境 6

53242.2.2软件环境 6

随着互联网的迅速发展，电子商务变得越来越重要，网上购物已经成为广大消费者主要的消费渠道，开发电子商务系统要满足用户需求，让用户可以方便购物、快乐购物，使用户可以轻易方便地找到自己所需的商品，商品能够更加精准地推送到需要的用户眼前，如此，才可以实现一个电子商务系统的真正价值，做到利润最大化。

电子商务系统在满足大量用户的访问购物需求同时，还会产生大量的用户行为数据以及系统业务数据，用户行为数据是指用户在使用系统的时候产生的点击、浏览、添加购物车、收藏等行为时产生的日志数据，在这些日志数据中存储着用户的ID数据、点击时间、手机型号、渠道来源等信息，业务系统数据指在系统运行过程由后端程序记录下来的业务数据，例如用户的订单表、支付情况表、订单详情表、用户详情表等，这些数据或是存在于前端服务器中，或是存在于后端服务器的传统数据库中，如果加以利用则能发掘其中的巨大潜能。

为尽量发掘数据中的潜在价值，我们需要搭建数据仓库系统，数据仓库系统从数据的采集流程开始，将不同来源的数据统一采集进数据仓库中，在数据仓库中对数据进行合理的分析分类存储计算，这个数据仓库将面向所有的有数据分析需求的用户，包括企业决策者、运营人员、数据分析师等，为用户提供多样的数据服务，解决用户的数据方面需求。

本章将重点介绍本书的电商数据项目的需求，包括项目的产品描述、功能架构设计、系统流程图设计、各模块的功能业务描述以及根据需求确定的硬件和软件环境。

项目的需求说明非常重要，不仅可以让程序员了解产品的需求，知道开发的目标结果，也可以让系统应用人员了解业务流程设计是否完善。所以在项目需求说明书中必须有详细的系统功能说明。

1.1功能需求分析

如图3-1所示，该数据仓库系统主要分为3个功能结构，分别是数据采集平台、数据计算平台和数据可视化。

图3-1数据仓库架构图

1）用户行为数据采集功能

要求将电子商务系统前台的埋点用户行为数据采集到大数据存储系统Hadoop中。再采集日志时要求时效性要及时，同时具有缓存功能。

2）数据仓库分析功能

要求对Hive中的数据进行分层处理。分别对数据进行保存、清洗、合并、拆分、统计等工作。

最终要求实现如下需求：

统计当日、当周、当月的活跃设备数

每日新增设备数

沉默用户数

本周回流用户数

流失用户数

留存率

最近连续3周活跃用户数

最近7天内连续3天活跃用户数

3）可视化功能

数据展示层主要工作为将最终需求结果数据导入到MySQL中，供数据用户使用或者对数据进行Web页面展示。

1.2非功能需求分析

数据仓库系统需要实现的目标如下：

环境搭建完整，技术选型合理，框架服务分配合理；

信息流完整，包括数据生成、数据采集、数仓建模；

能应对海量数据的分析查询；

系统的性能需求很大程度上决定了产品的质量，同时也进而反过来影响了产品的功能性需求定义。本系统的性能需求主要集中在可靠性、可扩展性与易用性等几个方面。

1）可靠性

要求系统具有一定的可靠性，能够自发的在处理某个环境出现异常时，及时抛出异常信息，保证之后的业务逻辑流程的正常运行。

2）可扩展性

因为Hadoop集群作为分布式集群，随着业务的不断增加，会有新的服务器进行添加和替换操作。这要求系统具有一定的可扩展性。

3）易用性

简单操作易上手，无门槛使用。应使得相关人员能够快速上手使用。

4）其他非功能性约束

在编写代码时，要统一代码风格，方便后人理解和修改，并且添加必要的注释等。

第2章系统设计与技术选型

本章主要对数据分析系统进行系统设计，根据需求人员具体的实际需求进行总体总体架构设计、具体功能模块设计和技术选型。

2.1系统设计

2.1.1系统功能设计

如图4-1所示，该数据仓库系统主要分为3个功能结构，分别是数据采集平台、数据计算平台和数据可视化。

图4-1数据仓库架构图

2.1.2采集模块业务设计

数据采集运输方面，在本项目中主要完成三方面需求，将服务器中的日志数据实时采集进大数据存储系统中，防止数据丢失以及数据堵塞，将业务数据库中的数据采集进数仓