基于flume+hive的订单数据采集分析系统设计.pdf

湖南商务职业技术学院毕业设计

目录

1引言1

1.1项目背景1

1.2系统相关组件简介1

1.2.1Hadoop简介1

1.2.2Hive简介2

1.2.3Flume简介2

1.2.4Django简介3

2系统需求分析4

2.1系统需求概述4

2.2功能性需求分析4

2.2.1数据采集功能需求4

2.2.2数据存储功能需求5

2.2.3数据分析功能需求5

2.2.4用户登录功能需求5

2.2.5数据可视化功能需求5

2.3非功能性需求分析6

3系统概要设计6

3.1系统框架设计6

3.2系统功能设计7

3.2.1数据处理模块功能设计7

3.2.2数据展示模块功能设计7

3.3数据库设计7

3.3.1设计原则7

3.3.2数据字典8

4系统详细设计9

4.1数据处理模块详细设计9

I

湖南商务职业技术学院毕业设计

4.1.1数据采集功能设计9

4.1.2数据分析功能设计9

4.2数据展示模块详细设计10

4.2.1用户登录功能设计10

4.2.2数据可视化功能设计11

5系统实现11

5.1软件环境11

5.2平台搭建12

5.2.1Hadoop集群搭建12

5.2.2Hive搭建12

5.3功能实现13

5.3.1数据采集功能实现13

5.3.2数据分析功能实现14

5.3.3数据可视化功能实现16

5.3.4用户登录功能实现16

6系统测试18

6.1功能性测试18

6.1.1数据采集功能测试18

6.1.2数据分析功能测试19

6.1.3数据可视化功能测试20

6.1.4用户登录功能测试21

6.2非功能性测试22

6.2.1安全性测试22

6.2.2兼容性测试24

6.2.3性能测试24

7设计小结25

参考文献26

II

湖南商务职业技术学院毕业设计

基于flume+hive的订单数据采集分析系统设计

1引言

随着互联网、物联网、社交网络等技术的普及和应用，在电子商务、物流和供应链

管理、车辆租赁和共享、旅游和酒店业等不同行业和领域产生的订单数据呈现爆炸式增

长的趋势。传统数据平台在处理如此海量数据时面临诸多挑战，如数据存储容量受限、

数据处理速度缓慢以及实时性不足等问题。因此，传统的数据分析平台已经无法满足企

业的业务需求。

1.1项目背景

随着互联网技术的发展和普及，截至2023年6月，我国网民规模已达10.79亿，互

[1]

联网普及率达76.4%，移动互联网累计流量达到EB级别。网络购物也随着互联网普

及融入了人民的日常生活之中。随着网络交易规模地不断扩大便自然会产生海量、多源、

多样化的用户数据。如何正确利用这些海量数据为企业提供决策支持，是未来企业从业

[2]

务驱动向数据驱动转型和争夺市场份额