大数据应用开发实战指南.docVIP

大数据应用开发实战指南

TOC\o1-2\h\u31835第1章大数据基础概念与环境搭建 3

293261.1大数据概念与价值 4

101421.1.1大数据定义 4

202631.1.2大数据价值 4

69931.2大数据技术栈概览 4

270591.2.1数据采集与存储 4

134021.2.2数据处理与分析 4

19661.2.3数据挖掘与机器学习 4

137691.2.4数据可视化与交互 4

116151.3大数据开发环境搭建 4

47011.3.1操作系统与硬件要求 4

194131.3.2虚拟机与容器技术 4

171571.3.3Hadoop生态圈搭建 5

71311.3.4Spark环境搭建 5

68071.3.5数据库与工具安装 5

30043第2章数据采集与预处理 5

184532.1数据源分析与采集 5

120422.1.1数据源分析 5

10722.1.2数据采集方法 5

123782.2数据预处理技术 6

30632.2.1数据整合 6

286682.2.2数据规范化 6

229862.2.3数据抽样 6

111332.3数据清洗与转换 6

222752.3.1数据清洗 6

186252.3.2数据转换 6

21510第3章分布式存储技术 6

62533.1分布式文件系统HDFS 6

167753.1.1HDFS概述 6

103633.1.2HDFS架构 6

156893.1.3HDFS数据读写流程 6

42363.1.4HDFS容错机制 7

219343.2列式存储系统HBase 7

117033.2.1HBase概述 7

170883.2.2HBase数据模型 7

127743.2.3HBase架构 7

22143.2.4HBase读写流程 7

191983.3分布式数据库技术 7

221773.3.1分布式数据库概述 7

21493.3.2分布式数据库架构 7

202253.3.3分布式数据库一致性协议 7

65663.3.4分布式数据库应用案例 7

19723.3.5分布式数据库的发展趋势 8

5956第4章分布式计算框架 8

205724.1MapReduce计算模型 8

202064.1.1Map任务 8

292034.1.2Reduce任务 8

58294.1.3MapReduce运行流程 8

323194.2Spark计算框架 9

18674.2.1Spark核心概念 9

115664.2.2Spark运行架构 9

148874.2.3Spark计算模型 9

46774.3Flink实时计算框架 9

235484.3.1Flink核心概念 9

233134.3.2Flink运行架构 9

45624.3.3Flink计算模型 10

14205第5章NoSQL数据库 10

304365.1键值存储数据库 10

155945.1.1基本概念 10

240225.1.2常见键值存储数据库 10

253595.1.3键值存储数据库的应用场景 10

62975.2文档型数据库 10

288695.2.1基本概念 10

257475.2.2常见文档型数据库 10

82275.2.3文档型数据库的应用场景 11

175935.3图数据库 11

155155.3.1基本概念 11

86335.3.2常见图数据库 11

212465.3.3图数据库的应用场景 11

2173第6章大数据查询与分析 11

26996.1SQLonHadoop技术 11

249486.1.1SQLonHadoop原理 11

141906.1.2SQLonHadoop特点 12

39846.1.3常用SQLonHadoop工具 12

313356.2Hive数据仓库 12

71366.2.1Hive架构 12

77856.2.2Hive核心组件 12

315216.2.3Hive使用方法 12

113786.3Impala实时查询 13

94116.3.1Impala架构 13

120176