大数据分析与挖掘技术作业指导书.doc

大数据分析与挖掘技术作业指导书

TOC\o1-2\h\u23511第1章大数据概述 3

19081.1大数据的发展历程 4

227481.2大数据的基本概念与特征 4

198681.3大数据应用领域 5

17254第2章数据采集与预处理 5

310002.1数据采集技术 5

64672.1.1网络爬虫技术 5

86162.1.2数据库采集技术 5

19782.1.3传感器与物联网技术 5

271272.1.4公开数据集与API接口 6

39232.2数据预处理方法 6

242402.2.1数据规范化 6

18482.2.2数据离散化 6

28062.2.3特征选择与降维 6

10692.3数据清洗与数据集成 6

219842.3.1数据清洗 6

22242.3.2数据集成 6

6322第3章数据存储与管理 7

201703.1分布式存储技术 7

71323.1.1分布式存储原理 7

167743.1.2分布式存储架构 7

228033.1.3分布式存储实现技术 7

110703.2数据仓库与数据湖 7

48553.2.1数据仓库 7

18083.2.2数据湖 7

59243.2.3数据仓库与数据湖的融合 8

59493.3数据索引与查询技术 8

260223.3.1数据索引技术 8

120963.3.2数据查询技术 8

43863.3.3分布式查询技术 8

22494第4章数据挖掘算法 8

13324.1关联规则挖掘 8

257314.1.1Apriori算法 8

32834.1.2FPgrowth算法 8

32314.1.3关联规则挖掘的应用案例 9

1834.2聚类分析算法 9

289044.2.1Kmeans算法 9

15604.2.2层次聚类算法 9

296094.2.3密度聚类算法 9

184984.3分类与预测算法 9

175414.3.1决策树算法 9

112064.3.2朴素贝叶斯分类算法 9

172384.3.3支持向量机（SVM） 9

123804.3.4神经网络分类与预测 10

151274.3.5集成学习分类与预测 10

7858第5章机器学习与深度学习 10

156015.1机器学习概述 10

188655.2线性回归与逻辑回归 10

258325.2.1线性回归 10

99955.2.2逻辑回归 10

237415.3神经网络与深度学习 11

248405.3.1神经网络 11

222625.3.2深度学习 11

214855.3.3深度学习框架 11

19256第6章文本挖掘与自然语言处理 11

152216.1文本预处理技术 11

180016.1.1字符编码转换 11

146426.1.2标点符号处理 11

296006.1.3大写转小写 11

252966.1.4停用词处理 11

293816.1.5词干提取 11

162686.2中文分词与词性标注 12

255276.2.1基于词典的分词方法 12

57336.2.2基于统计的分词方法 12

94016.2.3基于深度学习的分词方法 12

150576.2.4词性标注 12

227246.3文本分类与情感分析 12

132936.3.1文本分类方法 12

169836.3.2情感分析方法 12

149976.3.3特征提取 12

76426.3.4模型评估与优化 12

11454第7章图像识别与计算机视觉 12

163657.1图像处理基础 12

186867.1.1图像表示与转换 13

80287.1.2图像滤波与增强 13

233587.1.3边缘检测与轮廓提取 13

285637.2特征提取与表示 13

30287.2.1传统特征提取方法 13

224657.2.2局部特征描述子 13

196137.2.3特征表示与降维 13

297117.3深度学习在计算机视觉中的应用 13

317047.3.1卷积神经网络（CNN） 13

311257.3.2迁移学习与预训练 14