大数据分析处理作业指导书.docVIP

大数据分析处理作业指导书

TOC\o1-2\h\u23590第1章大数据概述 4

304941.1大数据定义及特征 4

255041.1.1定义 4

75641.1.2特征 4

26591.2大数据应用领域 4

269381.3大数据发展历程及趋势 5

156301.3.1发展历程 5

38971.3.2发展趋势 5

5040第2章数据采集与预处理 5

106462.1数据采集技术 5

3742.1.1网络爬虫技术 6

252982.1.2数据库采集技术 6

88932.1.3API接口采集技术 6

67022.1.4传感器与物联网技术 6

93932.2数据预处理方法 6

121152.2.1数据集成 6

232642.2.2数据规范化 6

225432.2.3数据离散化 6

313392.2.4数据变换 6

146692.3数据清洗与整合 7

286022.3.1数据清洗 7

11302.3.2数据整合 7

10978第3章数据存储与管理 7

93663.1分布式存储技术 7

246003.1.1概述 7

91913.1.2分布式文件系统 7

258343.1.3分布式数据库 7

282223.1.4数据一致性保障 8

225513.2数据仓库与数据湖 8

21073.2.1数据仓库概述 8

289813.2.2数据湖概述 8

170943.2.3数据仓库与数据湖的应用场景 8

323963.3数据压缩与索引 8

307173.3.1数据压缩技术 8

27693.3.2数据索引技术 8

11653.3.3数据压缩与索引在分布式存储中的应用 8

12706第4章数据分析方法与模型 8

22294.1描述性统计分析 8

84344.1.1频率分析 9

57714.1.2集中趋势分析 9

304054.1.3离散程度分析 9

243754.1.4分布形态分析 9

260984.2摸索性数据分析 9

161934.2.1数据可视化 9

86394.2.2变量间关系分析 9

189914.2.3异常值分析 9

203744.2.4交互式摸索分析 9

143204.3预测性分析及模型构建 9

304974.3.1时间序列分析 9

273884.3.2回归分析 9

277954.3.3机器学习模型 9

153704.3.4模型评估与优化 9

199414.3.5模型应用与决策支持 10

24770第5章数据挖掘算法及应用 10

131365.1关联规则挖掘 10

114945.1.1概述 10

297775.1.2关联规则挖掘算法 10

106825.1.3关联规则挖掘应用 10

117585.2聚类分析 10

76075.2.1概述 10

235835.2.2聚类算法 10

119815.2.3聚类分析应用 10

101185.3分类与预测算法 10

234875.3.1概述 10

209545.3.2常见分类与预测算法 11

116185.3.3分类与预测应用 11

16049第6章大数据分析工具与技术 11

181126.1Hadoop生态系统 11

172916.1.1Hadoop概述 11

295566.1.2Hadoop核心组件 11

3346.1.3Hadoop生态系统组件 11

35086.2Spark计算框架 11

231896.2.1Spark概述 11

86796.2.2Spark核心组件 11

300796.2.3Spark生态系统组件 12

91496.3Flink实时数据处理 12

278706.3.1Flink概述 12

269086.3.2Flink核心特性 12

133016.3.3Flink应用场景 12

351第7章数据可视化与展现 12

23517.1数据可视化基本原理 12

296357.1.1数据映射 12

305747.1.2视觉编码 12

15177.1.3交互式摸索 13

89267.2常用数据可视化工具 13