数据挖掘知识点总结.docVIP

数据挖掘知识点总结

数据挖掘是一个跨学科领域，涉及数据库技术、人工智能、统计学和机器学习等多个方面。它旨在从大量数据中发现有价值的模式和知识。以下是数据挖掘的主要知识点总结：

一、数据预处理

1.数据清洗

数据清洗是数据挖掘的第一步，主要处理数据中的噪声、缺失值和不一致性。

-噪声数据：通过平滑技术（如均值、中位数、回归）减少噪声。

-缺失值处理：包括删除含有缺失值的记录、填充缺失值（均值、中位数、众数、回归）。

-数据不一致性：解决数据类型错误、格式不统一等问题。

2.数据集成

将来自不同数据源的数据合并到一个统一的数据集中。

-实体识别：解决不同数据源中实体名称的不一致问题。

-数据冲突解决：通过实体对齐和冲突检测技术解决数据冲突。

3.数据变换

将数据转换成适合挖掘的形式。

-规范化：将数据缩放到特定范围（如0到1），常用方法包括最小-最大规范化、Z-分数规范化。

-属性构造：创建新的属性或特征，如从现有属性组合生成新属性。

4.数据规约

减少数据的规模，同时保留关键信息。

-维度规约：通过属性选择、属性组合或属性构造减少属性数量。

-数量规约：通过抽样、聚合等方法减少数据量。

二、探索性数据分析（EDA）

EDA旨在通过统计图形和统计方法理解数据集的基本特征。

-统计描述：计算基本统计量，如均值、中位数、标准差、分位数。

-数据