科技大数据技术与应用_笔记.docx

《科技大数据技术与应用》读书笔记

目录

一、前言．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

1.1读书背景．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

1.2读书目的．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

二、科技大数据技术概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

2.1大数据的定义与特点．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

2.2大数据技术体系．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

2.2.1数据采集技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

2.2.2数据存储技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

2.2.3数据处理技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

2.2.4数据分析技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

2.2.5数据可视化技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．15

三、大数据应用领域．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．16

3.1政府治理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．17

3.2金融行业．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．19

3.3电子商务．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．20

3.4医疗健康．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．21

3.5交通运输．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．22

3.6娱乐传媒．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．23

四、数据挖掘技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．24

4.1数据挖掘的基本概念．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．25

4.2数据挖掘的主要方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．26

4.2.1聚类分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．27

4.2.2关联规则挖掘．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．28

4.2.3分类与预测．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．29

4.2.4聚类分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．31

4.2.5降维技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．32

五、大数据分析与处理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．34

5.1分布式计算技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．35

5.2云计算技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．36

5.3数据仓库技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．37

5.4数据流处理技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．38

六、大数据安全与隐私保护．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．40

6.1数据安全概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．41

6.2隐私保护技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．42

6.2.1数据脱敏技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．44

6.2.2安全多方计算．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．45

6.2.3零