大数据应用开发与实现教程.docVIP

大数据应用开发与实现教程

TOC\o1-2\h\u5101第一章大数据概述 3

98101.1大数据概念与特点 3

99261.1.1大数据概念 3

257741.1.2大数据特点 3

313861.2大数据技术架构 4

249911.2.1数据采集 4

110441.2.2数据存储 4

102481.2.3数据处理 4

259641.2.4数据分析 4

40331.2.5数据展现 4

11570第二章数据采集与存储 4

296342.1数据采集技术 4

99482.1.1数据采集概述 4

38092.1.2常见数据采集方法 5

209362.1.3数据采集技术选型 5

233902.2数据存储方案 5

159162.2.1数据存储概述 5

296362.2.2常见数据存储方案 5

253172.2.3数据存储技术选型 6

102252.3分布式文件系统 6

68952.3.1分布式文件系统概述 6

202912.3.2分布式文件系统的工作原理 6

203062.3.3分布式文件系统的优势 6

26933第三章数据预处理 7

147953.1数据清洗 7

266193.1.1缺失值处理 7

198423.1.2异常值处理 7

73853.1.3数据标准化 7

323823.2数据转换 7

154293.2.1数据类型转换 7

96613.2.2数据归一化 7

246033.2.3数据编码 8

284473.3数据集成 8

246813.3.1数据源识别与整合 8

264943.3.2数据表关联 8

244733.3.3数据一致性检查 8

134783.3.4数据去重 8

3342第四章分布式计算框架 8

36094.1Hadoop框架 8

310764.2Spark框架 9

11994.3Flink框架 9

29173第五章数据挖掘与机器学习 10

226885.1数据挖掘算法 10

177515.1.1分类算法 10

226515.1.2聚类算法 10

84235.1.3关联规则挖掘算法 10

227925.2机器学习算法 10

306315.2.1监督学习算法 10

54325.2.2无监督学习算法 11

94525.2.3半监督学习算法 11

323925.3模型评估与优化 11

209225.3.1模型评估指标 11

24345.3.2模型优化方法 11

65905.3.3超参数优化 11

8002第六章大数据分析工具 11

54376.1数据可视化工具 11

256416.1.1概述 11

223976.1.2Tableau 11

177016.1.3PowerBI 12

116336.1.4Python数据可视化库 12

21016.2数据分析工具 12

17006.2.1概述 12

169146.2.2R语言 12

7096.2.3Python数据分析库 12

251276.2.4SPSS 12

123486.3数据挖掘工具 12

202856.3.1概述 12

114346.3.2Weka 13

88346.3.3RapidMiner 13

77606.3.4Python数据挖掘库 13

15319第七章大数据应用场景 13

301157.1互联网行业应用 13

3947.2金融行业应用 13

83527.3医疗行业应用 14

28394第八章大数据安全与隐私 14

260118.1数据安全策略 14

287488.1.1安全策略概述 14

24578.1.2数据安全策略实施 15

165168.2数据加密技术 15

180448.2.1加密技术概述 15

232628.2.2加密技术应用 15

305978.3数据隐私保护 15

281838.3.1隐私保护概述 15

222698.3.2隐私保护技术 16

245528.3.3隐私保护法规遵循 16

15872第九章大数据项目实践 16

118089.1项目需求分析