数据挖掘概念与技术 知识数据预处理.pptVIP

* * 数据预处理 2009年4月27日 * * 2.1 数据预处理的原因 正确性（Correctness） 一致性（Consistency） 完整性（Completeness） 可靠性（Reliability） 数据质量的含义 * * 数据错误的不可避免性  数据输入和获得过程数据错误 数据集成所表现出来的错误 数据传输过程所引入的错误 据统计有错误的数据占总数据的5%左右[Redmen],[Orr98] 数据错误的危害性 高昂的操作费用 糟糕的决策制定 组织的不信任 分散管理的注意力 * * 数据预处理的形式 数据清理 数据集成 数据变换 数据归约 * * 2.2描述性数据汇总 均值 分布式度量 sum() count() min() max() 代数度量 average() mean() 加权平均 截断平均 减小极端值的影响 整体度量 中位数 众数 中列数 (max+min)/2 2.2.1 度量数据的中心趋势 * * 2.3 数据清理 忽略元组 人工填写空缺值 使用一个全局常量填充空缺值 使用属性的平均值填充空缺值 使用与给定元组属同一类的所有样本的平均值 使用最可能的值填充空缺值 2.3.1 缺失值 * * 分箱：按箱平均值、按箱中值、按箱边界 聚类 计算机和人工检查结合 回归 2.3.2 躁声数据 2.3.3 数据清理作为一个过程 * * 实体识别：元数据可帮助避免错误 属性冗余：相关分析 数据重复 数据值冲突的检测与处理： 2.4 数据集成和变换 2.4.1 数据集成 * * 平滑 聚集 数据概化 规范化：最小-最大、Z-Score、按小数定标 属性构造 2.4.2 数据变换 * * 2.5 数据归约归约数据集小、近似保持原数据的完整性 2.5.1 数据立方体聚集：聚集数据立方体 使用与给定任务相关的最小方体 2.5.2 属性子集选择 检测、删除不相关 弱相关 冗于的属性和维 方法：逐步向前、逐步向后、向前向后结合 决策树归纳：信息增益法 * * 2.5 数据归约归约数据集小、近似保持原数据的完整性 2.5.3 数据压缩：编码机制压缩数据 方法：小波变换、主成分分析（PCA） 数值压缩：用替代的、较小的数据表示数据 方法：有参方法 回归和对数线性模型 无参方法 直方图 聚类 抽样 * * 2.6 离散化和概念分层 原始值用区间值或较高 层的概念替换 离散化：原始值划分为有限个区间，减少了连续属性值的个数 概念分层：原始值用较高层的概念替换 * * 2.6 离散化和概念分层： 2.6.1 对数值数据：分箱 直方图分析 聚类分析 基于熵的离散化(entropy) 通过信息增益方法确定区间边界 使用类信息，更可能将区间边界定义准确 基于卡方分析的区间合并 通过自然划分分段 3-4-5规则(P58)：将数值数据划分成相对一致的区间 * * 2.6.2 对分类数据: 分类数据是离散数据。一个分类属性可能有有限个不同的值。 方法 由用户和专家在模式级显式的说明属性的部分序 通过显式的数据分组说明分层结构的一部分 说明属性集，但不说明他们的偏序 只说明部分的属性集 挖掘原语，语言和体系结构 数据挖掘原语 数据挖掘语言 数据挖掘系统体系结构 总结 数据挖掘原语划分 挖掘相关的数据 挖掘的知识类型 背景知识 模式的兴趣度量 结果的表示与可视化 任务相关数据 数据库（或数据仓库）名称 例如：AllElectronics_db 数据库表（或数据仓库的立方体） 例如：表item,customer,purchase,items_sold 数据选择条件 例如：选取本年度加拿大地区购买商品的数据 选取条件可能在概念上层次高于DB/DW的数据 如：”type=home entertainment”，DB/DW中数据{tv,cd player,vcr} 有关的属性（或维） 例如：item表的name,price属性;customer表的income,age属性。 系统应具备自动选取相关属性的机制，比如通过评估各属性与特定操作的相关程度。 数据分组的标准 例如：根据日期进行分组 挖掘的知识类型 描述(characterization) 区别分析(discrimination) 关联(association) 分类/预测(classification/prediction) 聚类(clustering) 例: 用户如果想发掘AllElectronics数据库中用户的购买习惯，可能会选