大数据技术应用与优化实战指南.docVIP

大数据技术应用与优化实战指南

TOC\o1-2\h\u32404第1章大数据技术概述 4

317731.1大数据概念与背景 4

55481.2大数据技术栈 4

129751.3大数据应用场景 4

32257第2章大数据存储技术 5

221822.1分布式文件存储系统 5

306802.1.1分布式文件存储系统原理 5

169092.1.2分布式文件存储系统架构 5

32022.1.3常用分布式文件存储系统 5

231952.2列式存储与行式存储 6

117332.2.1列式存储 6

270772.2.2行式存储 6

26982.2.3列式存储与行式存储的选用 6

26072.3内存存储技术 6

16202.3.1内存存储的优势 6

322152.3.2内存存储的常用技术 7

31727第3章大数据处理框架 7

67673.1Hadoop生态系统 7

247053.1.1Hadoop分布式文件系统（HDFS） 7

96713.1.2YARN资源管理器 7

232813.1.3MapReduce计算框架 7

26083.1.4Hadoop生态系统周边工具 7

141263.2Spark数据处理 8

192573.2.1Spark核心组件 8

72893.2.2SparkSQL 8

95413.2.3SparkStreaming 8

264133.2.4其他Spark组件 8

222063.3Flink实时计算 8

188463.3.1Flink架构 8

184213.3.2Flink数据流处理 8

135653.3.3Flink状态管理和容错 8

120143.3.4Flink批流一体化 9

21101第4章大数据计算模式 9

303804.1批处理计算 9

219304.1.1概述 9

117034.1.2技术要点 9

322344.1.3应用案例 9

76644.2流式计算 9

324944.2.1概述 9

327564.2.2技术要点 9

69944.2.3应用案例 10

37354.3图计算与迭代计算 10

170524.3.1概述 10

90254.3.2技术要点 10

226914.3.3应用案例 10

2615第5章数据采集与预处理 10

146545.1数据采集技术 10

302225.1.1网络爬虫技术 11

251825.1.2数据挖掘技术 11

296635.1.3分布式采集技术 11

163815.2数据预处理方法 11

35715.2.1数据清洗 11

124285.2.2数据集成 11

309805.2.3数据变换 11

199065.3数据清洗与转换 12

18499第6章数据挖掘与分析 12

94716.1数据挖掘算法与应用 12

181106.1.1分类算法 12

91156.1.2聚类算法 12

186606.1.3关联规则挖掘 12

242826.1.4时间序列分析 12

79896.2数据分析模型 13

236486.2.1描述性分析 13

233906.2.2摸索性数据分析 13

264526.2.3回归分析 13

254296.2.4主成分分析 13

80866.3机器学习与深度学习 13

271856.3.1机器学习算法 13

70966.3.2深度学习模型 13

258026.3.3深度学习框架 14

31635第7章大数据可视化 14

1087.1数据可视化原理 14

308967.1.1数据可视化的目的 14

51607.1.2数据可视化的类型 14

109797.1.3数据可视化的流程 14

24277.2常用数据可视化工具 14

109487.2.1商业数据可视化工具 14

244257.2.2开源数据可视化工具 15

186677.3可视化设计技巧 15

172177.3.1选择合适的图表类型 15

20787.3.2简化图表元素 15

216617.3.3考虑颜色使用 15

147967.3.4优化布局和排版