大数据背景下的系统设计与研究.docxVIP

大数据背景下的系统设计与研究

目录

一、内容概览．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

1.1研究背景与意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

1.2国内外研究现状．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

1.3研究内容与目标．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

1.4研究方法与技术路线．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

二、大数据技术体系概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

2.1大数据概念与特征．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

2.2大数据关键技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．16

2.2.1数据采集与预处理技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．17

2.2.2数据存储与管理技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．18

2.2.3数据处理与分析技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．20

2.2.4数据可视化技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．21

2.3大数据平台架构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．25

2.3.1Hadoop生态系统．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．26

2.3.2Spark生态系统．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．28

2.3.3其他主流大数据平台．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．30

三、大数据环境下的系统架构设计原则．．．．．．．．．．．．．．．．．．．．．．．．31

3.1可扩展性与弹性．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．32

3.2可靠性与容错性．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．35

3.3性能与效率．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．38

3.4安全性与隐私保护．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．39

3.5易用性与可维护性．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．40

四、大数据环境下系统架构设计模式．．．．．．．．．．．．．．．．．．．．．．．．．．41

4.1微服务架构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．43

4.1.1微服务架构特点．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．46

4.1.2微服务架构优缺点．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．49

4.1.3微服务架构实践案例．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．49

4.2分布式架构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．51

4.2.1分布式架构特点．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．52

4.2.2分布式架构优缺点．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．53

4.2.3分布式架构实践案例．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．55

4.3云原生架构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．57

4.3.1云原生架构特点．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．58

4.3.2云原生架构优缺点．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．60

4.3.3云原生架构实践案例．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．61

五、大数据环境下系统架构设计实践．．．．．．．．．．．．．．．．．．．．．．．．．．63

5.1数据采集层设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．67

5.1.1数据源识别与接入．．．．．．．．．．