大数据技术与应用开发操作规程.pdfVIP

大数据技术与应用开发操作规程

第一章大数据技术概述3

1.1大数据概念与特征3

1.1.1大数据概念3

1.1.2大数据特征4

1.2大数据技术发展趋势4

1.2.1云算与大数据融合4

1.2.2物联网与大数据的融合4

1.2.3人工智能与大数据的结合4

1.2.4大数据安全与隐私保护4

1.2.5大数据人才培养4

第二章数据采集与预处理5

2.1数据源分析5

2.2数据采集方法5

2.3数据清洗与转换6

第三章分布式存储技术6

3.1分布式文件系统6

3.1.1分布式文件系统的组成7

3.1.2常见的分布式文件系统7

3.2分布式数据库7

3.2.1分布式数据库的组成7

3.2.2常见的分布式数据库7

3.3数据存储优化8

第四章分布式算技术8

4.1MapReduce编程模型8

4.2Spark编程模型8

4.3分布式算框架功能优化9

第