数据挖掘期末速成知识点.docVIP

数据挖掘期末速成知识点

一、数据预处理

1.数据清洗

-缺失值处理：删除、均值/中位数/众数填充、插值法、模型预测

-异常值处理：统计方法（箱线图）、聚类方法、孤立森林

-数据变换：归一化、标准化、离散化、特征编码（独热编码、标签编码）

2.数据集成

-数据合并：横向合并（笛卡尔积）、纵向合并

-数据融合：属性选择、冗余消除

3.数据变换

-特征构造：多项式特征、交互特征

-特征选择：过滤法（相关系数、卡方检验）、包裹法（逐步回归）、嵌入法（Lasso、Ridge）

4.数据规约

-数据压缩：主成分分析（PCA）、因子分析

-数据抽样：随机抽样、分层抽样、系统抽样

二、探索性数据分析

1.描述性统计

-中心趋势度量：均值、中位数、众数

-离散程度度量：方差、标准差、极差、四分位距

-分布形状度量：偏度、峰度

2.数据可视化

-散点图：用于观察两个变量之间的关系

-箱线图：用于观察数据的分布情况，识别异常值

-直方图：用于观察单变量数据的分布情况

-热力图：用于观察数据集中多个变量之间的相关性

3.聚类分析

-K-均值聚类：基于距离的聚类算法，将数据点划分为K个簇

-层次聚类：构建一个簇层次结构，可以是聚合或分裂方式