数据挖掘原理与应用.pptxVIP

数据挖掘原理与应用;

·数据挖掘概述

·数据预处理

·模型评估与选择

·集成学习方法

·降维方法介绍

·特征选择与联合

·聚类分析方法;

·关联规则挖掘

·PageRank算法

·神经网络基础

·保险预测模型

·手写数字识别

·总结与习题;

数据挖掘概述;

将原始数据转化为可操作知识，例

如零售业的客户分群、金融领域的

信用评分、医疗领域的疾病预测等;

数据挖掘应用领域

商业智能

通过分析销售数据优化库存管理、制定精准营销

策略，如亚马逊的推荐系统。

金融风控

检测信用卡欺诈、评估贷款违约概率，如银行利用交易流水构建反欺诈模型。;

大数据技术

Hadoop、Spark等分布式计算框架，

用于处理超大规模数据集(如PB级

日志分析)。

特征工程

通过特征选择、降维(如PCA)或构

造新特征提升模型性能，是数据挖

掘的关键预处理步骤。;;

常用数据挖掘工具

Python生态

Scikit-learn(通用机器学习库)、Pandas(数据处理

)、TensorFlow/PyTorch(深度学习)。

商业软件

SASEnterpriseMiner(可视化建模)、IBMSPSS

Modeler(拖拽式工作流设计)。

数据库集成工具

OracleDataMining(内嵌于数据库)、SQLServer

AnalysisServices(SSAS)。

开源平台

Weka(Java开发，适合教学)、RapidMiner(支持自动

化模型部署)。;

01公开数据集

Kaggle(竞赛平台提供结构化数据)、UCIMachineLearningRepository (经典学术数据集)。;

数据预处理;

均值/中位数填充

对数值型缺失值采用字段均值或中位数填

充，保持数据分布稳定性，但对离散型数据或存在偏态分布时效果有限。

多重插补法

基于马尔可夫链蒙特卡洛(MCMC)等方法

生成多个填充数据集并合并结果，可保留不确定性信息，但实现复杂度高。;

将数据线性映射到[0,1]区间，适用于

神经网络等需要固定输入范围的模型，

但无法消除数据偏态。;

独热编码(One-Hot)

将分类变量转换为二进制向量，避免数值大小带来的误导，但会导致维度爆炸，需配合特征选择使用。

标签编码(LabelEncoding)

为分类变量分配整数标签，适用于树模型，但可能??入虚假的序数关系。

目标编码(TargetEncoding)

用目标变量的统计量(如均值)替换分类变量，适合高基数特

征，但需防范过拟合风险。

频率编码

用类别出现频率替代原始值，简单高效但可能丢失类别间的差

异性信息。;

基于统计的方法

使用3σ原则或箱线图(IQR)识别离群点，假设数据服从正态分布

,但对多模态分布效果差。

距离度量法

如LOF(局部离群因子)算法，通过计算局部密度偏差检测离群点，

适用于非均匀分布数据。

聚类分析

利用K-means或DBSCAN划分簇，将远离簇中心的样本标记为离群值，

需谨慎选择聚类参数。

孤立森林(IsolationForest)

通过随机划分快速隔离离群点，适合高维数据且计算效率高。;

电商用户行为分析

通过缺失值填充(如用最近浏览记录补全)、会话时间标准化及独热编码处理设备类型，提升推荐系统效果。

金融风控建模

采用Robust标准化处理交易金额离群值，结合目标编码转化用户职业特征，优化欺诈检测模型AUC指标。

医疗数据清洗

利用多重插补处理体检指标缺失值，通过LOF算法剔除异常检测结果，确保疾病预测模型可靠性。

工业传感器数据预处理

对温度、压力数据实施Min-Max归一化，结合孤立森林剔除故障信号，提高设备故障预警准确率。;

模型评估与选择;

数据集划分方法

01随机划分法

将原始数据集随机划分为训练集、验证集和测试集，比例通

常为60%-20%-20%,确保数据分布一致且无偏倚，适用于数据量较大的场景。

03时间序列划分法

针对时间相关数据，按时间顺序划分训练集和测试集，防止未来信息泄露到训练过程中，适用于金融预测、销量预测等场景。;

K折交叉验证

将数据集均分为K个子集，依次以每个

子集作为验证集，其余K-1个子集作为

训练集，重复K次后取平均性能指标，

有效降低模型评估的方差。

嵌套交叉验证

外层用于模型选择，内层用于超参数调

优，严格分离模型开发与评估阶段，防

止过拟合并提高泛化能力。;

04

排序任务指标

ND