大数据应用与数据挖掘实践指南.pdfVIP

大数据应用与数据挖掘实践指南

第一章引言3

1.1大数据概念与特点3

1.1.1大数据概念3

1.1.2大数据特点3

1.2数据挖掘概述3

1.2.1数据挖掘流程3

1.2.2数据挖掘技术4

第二章数据采集与预处理4

2.1数据采集方法4

2.2数据清洗与整合4

2.3数据预处理技术5

第三章数据存储与管理5

3.1数据存储技术5

3.1.1磁盘存储6

3.1.2分布式文件系统6

3.1.3云存储6

3.1.4内存存储6

3.2数据库管理系统6

3.2.1关系型数据库管理系统6

3.2.2非关系型数据库管理系统6

3.2.3混合型数据库管理系统6

3.3数据仓库与数据湖6

3.3.1数据仓库7

3.3.2数据湖7

第四章数据分析方法7

4.1描述性统计分析7

4.2摸索性数据分析7

4.3数据可视化技术8

第五章关联规则挖掘8

5.1Apriori算法8

5.1.1算法原理9

5.1.2算法特点9

5.2FPgrowth算法9

5.2.1算法原理9

5.2.2算法特点9

5.3关联规则评估与优化9

5.3.1支持度（Support）10

5.3.2置信度（Confidence）10

5.3.3提升度（Lift）10

5.3.4优化方法10

第六章聚类分析10

6.1聚类算法概述10

6.2Kmeans算法10

6.3层次聚类算法11

第七章分类与预测11

7.1分类算法概述12

7.2决策树算法12

7.3支持向量机12

第八章机器学习在大数据中的应用13

8.1机器学习概述13

8.1.1机器学习的定义与发展13

8.1.2机器学习的分类13

8.1.3机器学习在大数据中的应用场景14

8.2特征选择与特征降维14

8.2.1特征选择的必要性14

8.2.2特征选择的方法14

8.2.3特征降维的方法14

8.3深度学习14

8.3.1深度学习的定义与发展14

8.3.2深度学习的关键技术14

8.3.3深度学习在大数据中的应用15

第九章大数据安全与隐私保护15

9.1数据安全概述15

9.2数据加密技术15

9.2.1对称加密技术15

9.2.2非对称加密技术15

9.2.3混合加密技术15

9.3数据隐私保护方法16

9.3.1数据脱敏16

9.3.2数据匿名化16

9.3.3差分隐私16

9.3.4安全多方计算16

9.3.5联邦学习16

第十章大数据应用案例16

10.1金融行业应用案例16

10.1.1信用评分模型优化16

10.1.2智能风险管理16

10.1.3反欺诈检测17

10.2医疗行业应用案例17

10.2.1疾病预测与诊断17

10.2.2药物研发17

10.2.3智能医疗管理17

10.3零售行业应用案例17

10.3.1客户行为分析17

10.3.2供应链管理17

10.3.3智能门店管理18

第一章引言

信息技术的飞速发展，大数据已经成为