生物医学数据挖掘-数据预处理.pptVIP

生物医学数据挖掘 上海交通大学医学院 计算机教研室 龚著琳 回顾 第一章 概论 四. 性能评价 1.样本的组织 2.预测型模型的性能评价 第二章 数据采集与准备 一．数据的采集和组织 1. 数据采集和管理 2. 数据的组织 3. 数据的类型 第二章 数据采集与准备 一．数据的采集和组织 二．数据预处理 1. 目的 2. 数据的分布状态 3. 数据清洗 4. 数据整合 5. 数据变换 6. 数据精简 数据预处理 1.目的 ① 提高数据的质量 处理不好的数据 降低维数 ② 数据质量的表现 数据的完整性 数据的合理性 数据的一致性 ③ 数据质量问题（脏数据） 数据缺失： 噪声或溢出：包含错误或孤立点 如：年龄＝-10 不一致: 在代码或名称上存在差异 如：年龄=42 与 生日=“1997/03/07 ” No quality data, no quality mining results! ④ 为什么有脏数据 缺失 噪声：随机错误和偏差 不一致 第二章 数据采集与准备 一．数据的采集和组织 二．数据预处理 1. 目的 2. 数据的分布状态 3. 数据清洗 4. 数据整合 5. 数据变换 6. 数据精简 数据预处理 2.数据的分布状态 用统计学工具可解决，P18 ① 均值 ② 中值 ③ 众数 ④ 半程位 ⑤ 全程