大数据应用技术实战手册.docVIP

大数据应用技术实战手册

TOC\o1-2\h\u32031第1章大数据基础概念 4

188701.1数据与大数据 4

6481.2大数据技术栈 4

222701.3大数据应用场景 5

3275第2章分布式计算框架 5

5192.1Hadoop生态系统 5

35412.1.1Hadoop分布式文件系统（HDFS） 5

229382.1.2YARN资源管理器 5

214252.1.3Hadoop生态系统工具 6

31792.2MapReduce编程模型 6

285952.2.1MapReduce原理 6

220562.2.2MapReduce编程实例 6

20022.2.3MapReduce优化技巧 6

168702.3Spark计算框架 6

276172.3.1Spark基本概念 6

217522.3.2Spark编程模型 6

219002.3.3Spark运行架构 6

34442.3.4SparkSQL与DataFrame 6

12611第3章分布式存储技术 7

148353.1HDFS文件系统 7

326343.1.1HDFS概述 7

72533.1.2HDFS架构 7

63713.1.3HDFS数据读写流程 7

60253.1.4HDFS容错机制 7

137183.2NoSQL数据库 7

267923.2.1NoSQL概述 7

220713.2.2常见NoSQL数据库 7

117543.2.3NoSQL数据库的选择 7

265283.3分布式缓存 7

210513.3.1分布式缓存概述 8

319063.3.2常见分布式缓存技术 8

272573.3.3分布式缓存应用场景 8

58283.3.4分布式缓存优化策略 8

14754第4章数据采集与预处理 8

323164.1数据采集技术 8

316134.1.1网络爬虫技术 8

272554.1.2API接口调用 8

208704.1.3传感器与物联网技术 8

20064.1.4数据仓库技术 8

194824.2数据预处理方法 9

32344.2.1数据清洗 9

67204.2.2数据集成 9

241214.2.3数据转换 9

318734.2.4数据归一化 9

43544.3数据清洗与转换 9

152704.3.1数据清洗 9

83674.3.2数据转换 10

10851第5章数据仓库与OLAP技术 10

275985.1数据仓库概述 10

125815.1.1数据仓库基本概念 10

53175.1.2数据仓库体系结构 10

75955.1.3数据仓库设计方法 11

152595.2Hive数据仓库 11

317615.2.1Hive体系结构 11

243985.2.2Hive数据模型 11

116285.2.3Hive查询优化 12

272625.3OLAP技术及其应用 12

205365.3.1OLAP技术特点 12

201395.3.2OLAP应用场景 12

289525.3.3常见OLAP工具 12

27248第6章数据挖掘与分析 13

283496.1数据挖掘基础 13

67306.1.1数据挖掘概念 13

45966.1.2数据挖掘任务 13

43426.1.3数据挖掘技术 13

89966.2分类与预测 13

152136.2.1分类算法 13

206806.2.2预测算法 13

220176.2.3分类与预测的应用 13

58016.3聚类与关联分析 14

171976.3.1聚类算法 14

50836.3.2关联分析 14

312506.3.3聚类与关联分析的应用 14

28118第7章机器学习与人工智能 14

209267.1机器学习基础 14

43827.1.1机器学习概述 14

224357.1.2数据预处理 14

256847.1.3监督学习 14

48527.1.4无监督学习 14

255397.1.5强化学习 14

232987.2常用机器学习算法 14

256067.2.1线性回归 14