大数据行业数据处理分析指导书.doc

大数据行业数据处理分析指导书

TOC\o1-2\h\u328第1章大数据概述 4

166751.1大数据概念与背景 4

244321.2大数据应用领域 4

25901.3大数据技术架构 4

23491第2章数据采集与预处理 5

26812.1数据源识别与接入 5

23922.1.1数据源识别 5

189182.1.2数据接入 5

302512.2数据采集技术 5

305252.2.1数据爬取 5

131452.2.2数据挖掘 6

36472.2.3数据感知 6

103152.3数据预处理方法 6

42532.3.1数据清洗 6

205342.3.2数据转换 6

51062.3.3数据整合 6

15510第3章数据存储与管理 6

135233.1数据存储技术 6

196023.1.1分布式存储 7

161653.1.2云存储 7

185363.1.3内存存储 7

77673.1.4固态盘存储 7

187733.2数据仓库与数据湖 7

317913.2.1数据仓库 7

229273.2.2数据湖 7

274743.3数据压缩与优化 7

218413.3.1数据压缩技术 7

88753.3.2数据优化技术 7

74343.3.3数据存储格式 8

14678第4章数据整合与清洗 8

271744.1数据整合策略 8

37874.1.1数据整合框架构建 8

253604.1.2数据整合方法 8

105734.2数据清洗方法 8

123864.2.1数据去重 8

258404.2.2数据补全 9

93014.2.3数据标准化 9

244964.2.4数据异常值处理 9

202054.3数据质量评估 9

131754.3.1完整性 9

277844.3.2准确性 9

217544.3.3一致性 9

188534.3.4时效性 9

263254.3.5可用性 9

20000第5章数据分析与挖掘 9

26515.1数据挖掘算法 9

131255.1.1分类算法 9

173825.1.2聚类算法 10

172405.1.3关联规则挖掘算法 10

303845.1.4时间序列分析算法 10

139635.2数据分析方法 10

236825.2.1描述性分析 10

83125.2.2诊断性分析 10

163075.2.3预测性分析 10

150025.2.4规范性分析 10

128825.3大数据挖掘应用案例 10

315755.3.1金融领域 10

49755.3.2零售领域 11

98855.3.3医疗领域 11

317135.3.4交通运输领域 11

11294第6章机器学习与深度学习 11

138166.1机器学习基础 11

22216.1.1机器学习概述 11

163746.1.2常用机器学习算法 11

192786.1.3特征工程 11

59766.2深度学习原理 11

92056.2.1深度学习概述 11

151386.2.2神经网络基础 11

207416.2.3卷积神经网络 12

14846.2.4循环神经网络 12

107716.3模型训练与优化 12

173016.3.1模型训练 12

147176.3.2模型评估与选择 12

205296.3.3模型优化 12

91546.3.4模型部署与应用 12

7989第7章数据可视化与展现 12

212057.1数据可视化技术 12

278337.1.1基本图表 12

196387.1.2地图可视化 13

327547.1.3矩阵可视化 13

61647.1.4文本可视化 13

306907.1.5时间序列可视化 13

263127.2数据展现工具 13

67397.2.1商业数据展现工具 13

157237.2.2开源数据展现工具 13

81057.2.3大数据平台内置工具 13

185157.3可视化设计原则与案例 13

26457.3.1设计原则 14

209227.3.2案