数据及数据预处理.pptVIP

数据挖掘与商务智能Data Mining Business Intelligence第二章 数据及数据预处理 西安电子科技大学　软件学院 主讲人：黄健斌 内容提纲 2.1数据类型 2.2数据质量 2.3数据预处理 2.4数据相似性和相异性度量 2.5数据统计汇总 2.6数据可视化  记录数据 关系记录 数据矩阵，例如，数值矩阵，交叉 文档数据：文本文件：词频向量 交易数据 图形和网络 万维网 社会或信息网络 分子结构 有序 时间数据：时间序列 顺序数据：交易序列 基因序列数据 视频数据的图像序列 空间，图像和多媒体： 空间数据：地图 2.1数据类型 数据对象 数据集由数据对象组成 一个数据对象代表一个实体 例子 销售数据库：客户，商店物品，销售额 医疗数据库：患者，治疗信息 大学数据库：学生，教授，课程信息 称为样品，示例，实例，数据点，对象，元组（tuple）。 数据对象所描述的属性。 数据库中的行 - 数据对象；列 - “属性”。 属性 属性（或尺寸，特征，变量）：一个数据字段，代表一个数据对象的特征或功能。 例如，客户_ID，姓名，地址 类型： 标称 二进制 数字：定量 规模区间 缩放比率 属性类型 标称：类别，状态，或“名字的东西” Hair_color={黑色，棕色，金色，红色，红褐色，灰色，白色} 婚姻状况，职业，身份证号码，邮政编码 二进制 只有2个状态（0和1）的属性 对称二进制两种结果重要 例如，性别 不对称的二进制结果同样重要。 例如，医疗测试（正面与负面） 公约：将1至最重要的成果（例如，HIV阳性） 序数词 价值观有一个有意义的顺序（排名），但不知道连续值之间的大小。 大小={小，中，大}，等级，军队排名 2.2数据质量 被广泛接受的数据质量测量标准 准确性 完整性 一致性 合时性 可信度 解释性 2.3数据预处理 数据预处理：概述 数据预处理主要任务 数据清洗 数据集成 数据缩减 数据转换和数据离散化 总结 2.3数据预处理主要任务 数据清理 填写缺失值，平滑噪声数据，识别或删除离群，并解决不一致问题 数据集成 整合多个数据库，多维数据集或文件 数据缩减 降维 Numerosity reduction 数据压缩 数据转换和数据离散化 正常化 生成概念层次结构 数据清洗 在现实世界中的数据是“脏”的： 不完整的：缺少属性值，缺乏某些属性值，或只包含总数据 例如，职业=“ ”（丢失的数据） 含嘈杂的噪音，错误或离群 例如，工资=“-10”（错误） 不一致的代码或不符的名称 年龄=“42”生日=“03/07/1997” 曾经评级“1,2,3”，现在评级“A，B，C” 重复的记录之间的差异 不完整（缺少）数据 数据并不总是可用的 例如，许多元组没有属性，如客户收入、销售数据的记录值 丢失的数据，可能是由于 设备故障 与其他记录的数据不一致，从而删除 因误会而未读入 在读入的时候，某些数据可能不会被认为是重要的 不是历史或更改的数据注册 丢失的数据可能需要被推断 如何处理丢失数据？ 忽略元组：通常是类标签丢失时（这样做分类），每个属性的缺失值有很大的差别 手动填写遗漏值 自动填写 全局常量 属性含义 属性意味着所有样本属于同一类 最有可能的值：基于诸如贝叶斯公式或决策树推理 噪声数据 噪声：一个测量变量中的随机错误或方差 原因 收集工具故障 数据录入问题 数据传输问题 技术限制 命名约定不一致 其他数据问题需要数据清理如 重复记录 数据不完整 不一致的数据 如何处理噪声数据？ 回归 数据拟合 聚类 检测和删除离群 结合计算机和人工检查 检测可疑的数据（例如人工处理可能的异常值） 数据清洗 数据的误差检测 使用元数据（例如，领域，范围，依赖，分销） 检查是否溢出 检查唯一性规则，连续统治和空的规则 使用商业工具 数据清理：使用领域知识（例如，邮政编码，拼写检查），检测错误并改正 数据审计：通过分析数据检测违规者（例如，关联和聚类规则和关系，寻找离群） 数据迁移和整合 数据迁移工具：允许指定的转换 ETL（提取/转换/加载）工具：通过图形用户界面允许用户指定转换 两个过程的集成 迭代和交互 数据集成 数据集成 将来自多个数据源的数据组合成一个连贯的数据源 模式集成：例如，A.cust-id ? B.cust-# 整合来自不同来源的元数据 实体识别问题： 识别来自多个数据源的真实世界的实体，例如，Bill Clinton = William Clinton 数据冲突检测和解决 对于同一个真实世界的实体，来自不同源的属性值 可能的原因：不同的表述，不同的尺度，例如，公制与英制单位 数据集成中的冗余信息的处理 整合多个数据库经常发生数据冗余 Object identification：相同的属性或对象可能有不