大数据技术与应用研究手册.docVIP

大数据技术与应用研究手册

TOC\o1-2\h\u20501第一章大数据技术概述 3

67151.1大数据概念与发展历程 3

196301.1.1大数据概念 3

322131.1.2大数据发展历程 4

243961.2大数据关键技术 4

124961.2.1数据采集 4

72921.2.2数据存储 4

130541.2.3数据处理 4

134001.2.4数据分析 4

116111.2.5数据挖掘 4

10253第二章数据采集与预处理 4

122842.1数据采集方法 5

298342.1.1网络爬虫 5

11462.1.2数据接口 5

91662.1.3物联网技术 5

247252.1.4数据仓库 5

3602.2数据清洗与整合 5

253862.2.1数据清洗 5

215382.2.2数据整合 5

219422.3数据质量评估 6

199572.3.1数据完整性 6

161142.3.2数据准确性 6

114522.3.3数据一致性 6

305432.3.4数据可用性 6

6451第三章分布式存储技术 6

139183.1分布式文件系统 6

325873.1.1基本概念 6

21483.1.2关键技术 7

127733.1.3常见实现 7

219353.2分布式数据库 7

320933.2.1基本概念 7

126423.2.2关键技术 7

101373.2.3常见实现 8

50733.3分布式缓存 8

44773.3.1基本概念 8

11993.3.2关键技术 8

33023.3.3常见实现 8

7053第四章分布式计算技术 9

214074.1MapReduce计算模型 9

126764.2Spark计算框架 9

120194.3分布式计算优化策略 9

13568第五章数据仓库与数据挖掘 10

73595.1数据仓库技术 10

227835.1.1数据仓库的定义与架构 10

261685.1.2数据仓库的设计与实施 10

254205.1.3数据仓库技术的发展趋势 10

321965.2数据挖掘算法 10

147085.2.1分类算法 11

257375.2.2聚类算法 11

27015.2.3关联规则挖掘算法 11

75945.3数据挖掘应用 11

92215.3.1金融行业 11

92965.3.2零售行业 11

128155.3.3医疗行业 11

171205.3.4智能家居 11

28786第六章机器学习与深度学习 11

238346.1机器学习基础 11

140146.1.1定义与发展历程 11

30556.1.2主要任务与分类 12

253946.1.3常见算法 12

85336.2深度学习原理 12

4776.2.1定义与特点 12

70056.2.2基本结构 12

147866.2.3常见模型 12

23916.3机器学习与深度学习在大数据中的应用 13

61396.3.1数据预处理 13

150576.3.2特征工程 13

207976.3.3模型选择与优化 13

40036.3.4模型评估与调整 13

51556.3.5实际应用案例 13

14711第七章大数据分析与可视化 13

69577.1数据分析方法 13

6167.1.1描述性分析 14

254287.1.2摸索性分析 14

24707.1.3预测性分析 14

216647.1.4优化分析 14

118517.2数据可视化技术 14

215527.2.1传统图表 14

250257.2.2地图可视化 14

131837.2.3交互式可视化 14

98307.2.4动态可视化 14

202167.3大数据分析工具 15

256917.3.1R语言 15

322847.3.2Python 15

198577.3.3Tableau 15

188727.3.4Hadoop 15

50227.3.5Spark 15

16650第八章大数据安全与隐私保护