第二篇：数据预处理.pdfVIP

数据挖掘 第二章：数据预处理 本章内容 2.0 认识数据 2.1 为什么要预处理数据 2.2 数据清理 2.3 数据集成和变换 2.4 数据归约 基本要求：了解数据质量问题及其对挖掘的影 响，掌握数据清理、集成和变换、归约等方法 2.0 认识数据  洞察数据有助于数据预处理与挖掘  数据由什么类型的属性或字段组成  属性具有何种类型的属性值  属性是离散的还是连续的  数据分布特性  数据可视化 2.0 认识数据 –数据对象与属性类型 数据对象：数据集由数据对象组成，一个数据对象 代表一个实体  顾客、商品、患者  又称样本、实例、数据点、元组等 属性：表示数据对象的一个特征  维、特征、变量  一个给定对象的一组属性称作属性向量（特征向量）  属性的类型由该属性可能具有的值的集合决定 2.0 认识数据 –数据对象与属性类型 枚举类型（nominal attribute）：分类类型  属性值域是一个由符号、事物构成的有限集合  头发颜色、婚姻状态、职业  不具备有意义的序、不是定量的  可用众数(mode)度量中心趋势  二元属性（binary attribute）：布尔属性  只有两个类别与状态：0与1，true与false  对称的：两个状态分布或重要性相同。性别  非对称的：两个状态分布或重要性不是相同的。HIV 检验。 2.0 认识数据 –数据对象与属性类型 序数类型（ordinal attribute）  属性值之间存在有意义的序，相继值之间差是定性的  大中小、职位、军衔  可通过把数值量的值域划分为有限个有序列性得到序 数类型  可用众数与中位数表示中心趋势 2.0 认识数据 –数据对象与属性类型 数值属性 （numeric attribute）  可用整数或实数度量  区间标度（interval-scaled）属性：用相同的单位尺度 度量。 • 可用众数、中位数、均值表示  比例标度（ratio-scaled）属性：可用倍数表示。 • 可用众数、中位数、均值表示 2.0 认识数据 –数据对象与属性类型  离散属性：具有有限个或无限可数个值 连续属性：如果属性不是离散的，则它是连续的， 用实数表示 2.0 认识数据 –数据基本统计描述 动机：为了更好的理解数据  获得数据的总体印像  识别数据的典型特征  凸显噪声或离群点 度量数据的中心趋势  均值、中位数、众数（模） 度量数据的离散程度  四分位数、四分位数极差、方差等 2.0 认识数据 –数据基本统计描述 n n w x 算术平均值 1 i i i 1 x xi x n 加权算术平均 n i 1 wi i 1 截断均值（trimmed mean ）：去掉高、低极端值 得到的均值  e.g. 计算平均工资时，可以截掉上下各2％的值后计算 均值，以抵消少数极端值的影响 