大数据系统功能总体设计方案.docxVIP

大数据系统功能总体设计方案

目录

一、内容概括．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

1.1项目背景．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

1.2设计目标．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

1.3设计原则．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

二、系统概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

2.1系统功能需求分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

2.2系统架构设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

2.3系统性能要求．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

三、系统模块设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

3.1数据采集模块．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

3.1.1数据源分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

3.1.2采集方式设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

3.1.3采集流程优化．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．16

3.2数据存储模块．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．17

3.2.1数据存储方案．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．19

3.2.2数据库设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．20

3.2.3数据备份与恢复．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．21

3.3数据处理模块．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．23

3.3.1数据清洗与预处理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．24

3.3.2数据挖掘与分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．25

3.3.3数据可视化．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．26

3.4应用服务模块．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．27

3.4.1应用服务接口设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．28

3.4.2应用服务功能实现．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．30

3.4.3应用服务性能优化．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．31

四、系统技术选型．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．32

4.1软件技术选型．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．33

4.2硬件技术选型．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．35

4.3网络技术选型．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．36

五、系统安全设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．38

5.1安全策略设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．39

5.2访问控制设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．40

5.3数据加密与解密．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．42

5.4安全审计与监控．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．43

六、系统测试与部署．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．45

6.1测试策略与计划．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．46

6.2测试用例设计．．．．．．．．