大数据分析挖掘作业指导书.docVIP

大数据分析挖掘作业指导书

TOC\o1-2\h\u30890第1章数据采集与预处理 2

34491.1数据源类型及选择 2

225971.2数据采集方法 3

261481.3数据清洗与预处理 3

5105第2章数据存储与管理 3

240022.1数据库系统概述 3

149312.2分布式存储技术 4

70442.3数据仓库与数据湖 5

257202.3.1数据仓库 5

42112.3.2数据湖 5

211663.3数据分析方法 5

269873.1描述性统计分析 5

156413.2摸索性数据分析 6

107043.3数据可视化 6

24088第四章数据挖掘基础 6

319754.1数据挖掘概述 6

114484.2数据挖掘任务 7

314834.3数据挖掘方法 7

12223第5章关联规则挖掘 8

186195.1关联规则概述 8

220435.2Apriori算法 8

272505.3FPgrowth算法 9

26550第6章聚类分析 9

128046.1聚类分析概述 9

312286.2Kmeans算法 9

96896.3层次聚类算法 10

28066第7章分类与预测 11

287007.1分类与预测概述 11

264617.2决策树算法 11

84427.3支持向量机算法 11

950第8章时间序列分析 12

91518.1时间序列概述 12

179488.2时间序列预测方法 12

15468.2.1移动平均法 12

15058.2.2指数平滑法 12

269888.2.3自回归模型（AR） 12

286158.2.4移动平均模型（MA） 13

315338.2.5自回归移动平均模型（ARMA） 13

105658.2.6自回归积分滑动平均模型（ARIMA） 13

274068.3时间序列模型 13

191218.3.1线性统计模型 13

248938.3.2非线性统计模型 13

204608.3.3状态空间模型 13

135328.3.4时间序列聚类模型 13

233668.3.5时间序列分类模型 14

17590第9章大数据分析应用 14

208629.1互联网行业应用 14

326679.1.1应用背景 14

210799.1.2应用场景 14

295909.1.3应用案例 14

290419.2金融行业应用 14

23789.2.1应用背景 14

109989.2.2应用场景 15

291829.2.3应用案例 15

86209.3医疗行业应用 15

106209.3.1应用背景 15

76649.3.2应用场景 15

275449.3.3应用案例 15

21892第10章大数据分析发展趋势与展望 16

2541510.1技术发展趋势 16

1916310.2行业应用前景 16

1823110.3政策法规与伦理问题 16

第1章数据采集与预处理

1.1数据源类型及选择

在当今信息化时代，数据源类型丰富多样，为大数据分析提供了丰富的素材。数据源类型主要包括以下几类：

（1）结构化数据：这类数据具有固定的格式和类型，易于存储和处理。例如，数据库中的数据表、电子表格等。

（2）非结构化数据：这类数据没有固定的格式和类型，包括文本、图片、音频、视频等。

（3）半结构化数据：介于结构化数据和非结构化数据之间，如XML、HTML等。

选择数据源时，需要根据分析目标和业务需求进行综合考虑，以下是一些建议：

（1）明确分析目标：分析目标决定数据源的类型和范围，例如，针对用户行为分析，可选用用户行为日志数据；针对市场分析，可选用市场调研数据。

（2）数据质量：选择数据源时，要关注数据质量，保证数据真实、完整、准确。

（3）数据规模：根据分析需求，选择适当规模的数据源。过大的数据规模可能导致分析效率降低，过小的数据规模可能无法得出有效结论。

1.2数据采集方法

数据采集是大数据分析的基础环节，以下是常见的数据采集方法：

（1）网络爬虫：通过编写程序，自动从互联网上抓取所需数据。

（2）数据接口：通过API接口获取第三方数据。

（3）日志收集：收集服务器、应用程序等产生的日志文件。

（4）问卷调查：通过问卷调查收集用户反馈和数据。