大数据应用技术实战作业指导书.docVIP

大数据应用技术实战作业指导书

TOC\o1-2\h\u31992第1章大数据概述 4

209611.1大数据的发展历程 4

156541.1.1数据仓库与商业智能时代 4

284221.1.2大数据技术的萌芽 5

105731.1.3大数据技术的快速发展 5

189341.2大数据的基本概念与关键技术 5

317271.2.1基本概念 5

252971.2.2关键技术 5

198931.3大数据应用场景与行业案例 5

114201.3.1金融行业 5

303691.3.2医疗行业 5

215271.3.3电商行业 6

312471.3.4智能交通 6

149221.3.5智能制造 6

23455第2章大数据生态系统与技术架构 6

103032.1Hadoop生态系统 6

277642.1.1Hadoop分布式文件系统（HDFS） 6

117172.1.2MapReduce 6

234112.1.3YARN 6

274512.1.4Hive 6

267202.1.5HBase 7

180902.2Spark生态系统 7

228012.2.1SparkCore 7

201542.2.2SparkSQL 7

23222.2.3SparkStreaming 7

251582.2.4MLlib 7

285122.2.5GraphX 7

106542.3Flink生态系统 7

49172.3.1FlinkRuntime 7

58062.3.2DataStreamAPI 8

286622.3.3DataSetAPI 8

29922.3.4TableAPI与SQL 8

24952.3.5Gelly 8

10362.4其他大数据技术框架 8

161632.4.1Kafka 8

147382.4.2Elasticsearch 8

25862.4.3Flume 8

205362.4.4Sqoop 8

125942.4.5Zeppelin 8

9462第3章数据采集与预处理 8

131863.1数据采集技术 9

1363.1.1网络爬虫技术 9

196913.1.2数据接口技术 9

135823.1.3数据仓库技术 9

75983.2数据预处理技术 9

97043.2.1数据规范化 9

59813.2.2数据编码 9

295073.2.3数据降维 9

88823.3数据清洗与数据集成 9

38853.3.1数据清洗 9

196743.3.2数据集成 10

28714第4章分布式存储技术 10

364.1HDFS分布式文件系统 10

301184.1.1HDFS概述 10

110744.1.2HDFS架构 10

298764.1.3HDFS读写流程 10

49894.1.4HDFS容错机制 10

225164.2HBase分布式数据库 10

126774.2.1HBase概述 11

214134.2.2HBase架构 11

137634.2.3HBase数据模型 11

304924.2.4HBase读写流程 11

308194.2.5HBase容错机制 11

284874.3Alluxio分布式存储系统 11

313334.3.1Alluxio概述 11

107154.3.2Alluxio架构 11

21664.3.3Alluxio数据读写流程 11

182714.3.4Alluxio容错机制 11

21863第5章分布式计算技术 12

312905.1MapReduce计算模型 12

208515.1.1概述 12

90565.1.2基本原理 12

278385.1.3关键技术 12

167375.2Spark计算模型 12

99015.2.1概述 12

114875.2.2基本原理 12

63985.2.3关键技术 13

137445.3Flink计算模型 13

258185.3.1概述 13

36555.3.2基本原理 13

228345.3.3关键技术 13

7948第6章大数据查询