第二章 数据认识与预处理.pptxVIP

四川农业大学 信息工程学院 数 据 挖 掘主讲教师：李志勇团队合作责任市场战略研发2023/10/311 第二章：数据认知与预处理——抽丝剥茧 去伪存真主讲教师：李志勇 2023/10/313主要介绍内容2.1 数据清洗2.2 离群值2.3 数据变换2.4 特征选择2.5 主成分分析2.6 线性判别分析数据预处理 2023/10/314完整性：数据是否存在缺失，缺失可能是整个记录数据，也可能是记录数据中某个关键字段的缺失。Occupancy = “ ”一致性：数据是否遵循了统一的规范，数据集是否保持统一的格式。Age = “42” vs. Birthday = “01/09/1985”准确性：数据记录的信息是否存在异常或错误。Salary = “-100”时效性：数据从产生到可以查看的时间间隔其它冗余字段不平衡数据集其形式不适合数据挖掘模型的数据数据质量评估数据预处理 2023/10/315数据预处理属性定义什么是属性：一个数据字段，表示数据对象的一个特征，属性、维、特征和变量可以互换地使用属性类型分为两大类：定性描述和定量描述标称属性：是一些符号或事物的名称，每个值代表某种类别、编码或状态二元属性：一种标称属性，只有两个值或状态：0或1，又可以称为布尔属性（值为true 或false）对称的二元属性：两种状态具有同等价值且携带相同的权重非对称的二元属性