大数据分析与挖掘课件.docxVIP

大数据分析与挖掘课件

目录

一、内容描述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

1.1大数据分析与挖掘的背景及意义．．．．．．．．．．．．．．．．．．．．．．．．．．．3

1.2数据分析与挖掘的基本概念．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

1.3现代大数据环境下的数据分析与挖掘技术．．．．．．．．．．．．．．．．．．．5

二、数据预处理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

2.1数据清洗．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

2.2数据集成．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

2.3数据变换．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

2.4数据归约．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

三、数据探索性分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

3.1描述统计分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

3.2可视化分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．15

3.3分布特征分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．16

四、数据分析方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．17

4.1监督学习．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．19

4.1.1决策树．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．20

4.1.2支持向量机．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．21

4.1.3随机森林．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．23

4.1.4聚类算法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．24

4.2无监督学习．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．25

五、机器学习算法在实际中的应用．．．．．．．．．．．．．．．．．．．．．．．．．．．．27

5.1推荐系统．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．29

5.2图像识别．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．30

5.3自然语言处理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．32

5.4物联网数据分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．33

六、深度学习．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．35

6.1基本概念．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．36

6.2深度神经网络．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．38

6.3卷积神经网络．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．39

6.4循环神经网络．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．41

七、大数据挖掘算法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．42

7.1数据挖掘过程．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．44

7.2关联规则挖掘．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．45

7.3聚类分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．47

八、数据安全与隐私保护．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．48

8.1数据加密．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．49

8.2数据脱敏．．．．．．．．．．．．．．．．．．