数据及数据预处理分解.ppt

属性 属性（或尺寸，特征，变量）：一个数据字段，代表一个数据对象的特征或功能。 例如，客户_ID，姓名，地址 类型： 标称 二进制 数字：定量 规模区间 缩放比率 属性类型 标称：类别，状态，或“名字的东西” Hair_color={黑色，棕色，金色，红色，红褐色，灰色，白色} 婚姻状况，职业，身份证号码，邮政编码 二进制 只有2个状态（0和1）的属性 对称二进制两种结果重要 例如，性别 不对称的二进制结果同样重要。 例如，医疗测试（正面与负面） 公约：将1至最重要的成果（例如，HIV阳性） 序数词 价值观有一个有意义的顺序（排名），但不知道连续值之间的大小。 大小={小，中，大}，等级，军队排名 2.2数据质量 被广泛接受的数据质量测量标准 准确性 完整性 一致性 合时性 可信度 解释性 2.3数据预处理 数据预处理：概述 数据预处理主要任务 数据清洗 数据集成 数据缩减 数据转换和数据离散化 总结 2.3数据预处理主要任务 数据清理 填写缺失值，平滑噪声数据，识别或删除离群，并解决不一致问题 数据集成 整合多个数据库，多维数据集或文件 数据缩减 降维 Numerosity reduction 数据压缩 数据转换和数据离散化 正常化 生成概念层次结构 数据清洗 在现实世界中的数据是“脏”的： 不完整的：缺少属性值，缺乏某些属性值，或只包含总数据 例如，职业=“ ”（丢失的数据） 含嘈杂的噪音，错误或离群 例如，工资=“-10”（错误） 不一致的代码或不符的名称 年龄=“42”生日=“03/07/1997” 曾经评级“1,2,3”，现在评级“A，B，C” 重复的记录之间的差异 不完整（缺少）数据 数据并不总是可用的 例如，许多元组没有属性，如客户收入、销售数据的记录值 丢失的数据，可能是由于 设备故障 与其他记录的数据不一致，从而删除 因误会而未读入 在读入的时候，某些数据可能不会被认为是重要的 不是历史或更改的数据注册 丢失的数据可能需要被推断 如何处理丢失数据？ 忽略元组：通常是类标签丢失时（这样做分类），每个属性的缺失值有很大的差别 手动填写遗漏值 自动填写 全局常量 属性含义 属性意味着所有样本属于同一类 最有可能的值：基于诸如贝叶斯公式或决策树推理 噪声数据 噪声：一个测量变量中的随机错误或方差 原因 收集工具故障 数据录入问题 数据传输问题 技术限制 命名约定不一致 其他数据问题需要数据清理如 重复记录 数据不完整 不一致的数据 如何处理噪声数据？ 回归 数据拟合 聚类 检测和删除离群 结合计算机和人工检查 检测可疑的数据（例如人工处理可能的异常值） 数据清洗 数据的误差检测 使用元数据（例如，领域，范围，依赖，分销） 检查是否溢出 检查唯一性规则，连续统治和空的规则 使用商业工具 数据清理：使用领域知识（例如，邮政编码，拼写检查），检测错误并改正 数据审计：通过分析数据检测违规者（例如，关联和聚类规则和关系，寻找离群） 数据迁移和整合 数据迁移工具：允许指定的转换 ETL（提取/转换/加载）工具：通过图形用户界面允许用户指定转换 两个过程的集成 迭代和交互 数据集成 数据集成 将来自多个数据源的数据组合成一个连贯的数据源 模式集成：例如，A.cust-id ? B.cust-# 整合来自不同来源的元数据 实体识别问题： 识别来自多个数据源的真实世界的实体，例如，Bill Clinton = William Clinton 数据冲突检测和解决 对于同一个真实世界的实体，来自不同源的属性值 可能的原因：不同的表述，不同的尺度，例如，公制与英制单位 数据集成中的冗余信息的处理 整合多个数据库经常发生数据冗余 Object identification：相同的属性或对象可能有不同的名字在不同的数据库中 Derivable data：一个属性可能是“派生”的另一个表中的属性，例如，年收入 通过相关性分析和协方差分析可以检测到冗余的属性 仔细集成来自多个数据源，可能有助于减少/避免冗余和不一致的地方，并提高读取速度和质量 相关分析 Χ2 (chi-square) test Χ2值越大，越有可能变量是相关的 The cells that contribute the most to the Χ2 value are those whose actual count is very different from the expected count 相关性并不意味着因果关系 # of hospitals and # of car-theft in a city 是相关的 两者都因果联系的第三个变量为人口 Χ2 (chi-square) test举例 相关分析数据（数字数据） 相关系数（也称为皮尔逊积矩系数）