大数据技术操作指南.pdfVIP

大数据技术操作指南

第1章大数据基础概念4

1.1数据定义与分类4

1.1.1数据定义4

1.1.2数据分类4

1.2大数据技术栈概述4

1.3大数据应用场景4

第2章大数据存储技术5

2.1分布式存储统5

2.1.1分布式存储统概述5

2.1.2常见分布式存储统5

2.2HadoopHDFS5

2.2.1HDFS架构5

2.2.2HDFS特点6

2.3腾讯云对象存储COS6

2.3.1COS架构6

2.3.2COS特点6

第3章大数据处理框架6

3.1MapReduce6

3.1.1基本原理6

3.1.2操作方法7

3.2Spark7

3.2.1基本原理7

3.2.2操作方法7

3.3Flink7

3.3.1基本原理7

3.3.2操作方法8

第4章大数据计算引擎8

4.1Hive8

4.1.1安装与配置8

4.1.2基本操作8

4.1.3高级特性8

4.2Ipala9

4.2.1安装与配置9

4.2.2基本操作9

4.2.3高级特性9

4.3Presto9

4.3.1安装与配置10

4.3.2基本操作10

4.3.3高级特性10

第5章大数据分析技术10

5.1数据挖掘10

5.1.1关联规则挖掘10

5.1.2聚类分析10

5.1.3分类与预测10

5.1.4异常检测11

5.2机器学习11

5.2.1监督学习11

5.2.2无监督学习11

5.2.3强化学习11

5.2.4集成学习11

5.3深度学习11

5.3.1卷积神经网络C（NN）11

5.3.2循环神经网络R（NN）11

5.3.3对抗网络G（AN）12

5.3.4强化学习与深度学习的结合12

第6章数据库与数据仓库12

6.1关型数据库12

6.1.1概述12

6.1.2常见关型数据库12

6.1.3关型数据库的优缺点12

6.2非关型数据库12

6.2.1概述12

6.2.2常见非关型数据库12

6.2.3非关型数据库的优缺点12

6.3数据仓库Hive13

6.3.1概述13

6.3.2Hive架构与原理13

6.3.3Hive的安装与配置13

6.3.4HiveSQL13

6.3.5Hive功能优化13

第7章数据集成与数据治理13

7.1数据集成技术13

7.1.1数据集成概述13

7.1.2集成方式13

7.1.3集成技术14

7.2数据治理体14

7.2.1数据治理概述14

7.2.2数据治理框架14

7.2.3数据治理实施策略14

7.3数据质量管理14

7.3.1数据质量管理概述14

7.3.2数据质量评估14

7.3.3数据质量改进15

第8章大数据安全与隐私保护15

8.1数据加密技术15

8.1.1对称加密算法15

8.1.2非对称加密算法15

8.1.3混合加密算法15

8.2访问控制与身份认证15

8.2.1访问控制15