l数据的预处理与后处理第五章.pptVIP

数据的预处理和后处理 第五章 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 5.1 数据预处理的内涵 数据集的准备和变换是数据挖掘过程最重要的步骤之一； 原始数据很难直接用于数据挖掘； 文献中通常不被重视； 应用中需花费大量时间和精力； 可看做是与挖掘相独立的过程； 数据收集 预处理 挖掘 后处理 结果解释 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 5.2 数据预处理的步骤 对象表示 属性：对象的形式化描述 分类 离散型（符号的、标称的、分类的） 连续型（连续的） 结构型（复合的） 对象收集和映射 确定属性的名称和取值范围 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 5.2 数据预处理的步骤 缩放大型数据集 处理大型数据库 算法仅假定数据均存在主存中 调度方法： 窗口式（顺序） 批量式（按某一属性提取） 增量式（减轻模型建立的负担） Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 5.2 数据预处理的步骤 噪声和错误 外部错误：随机错误和噪声（干扰） 内部错误：算法精度和实用性 未知属性值 未知或缺失的属性值 来源： 收集过程中被遗忘或丢失 不适当的或不存在的（混合类型的对象，煤、天然气） 不相关属性（研究问题的不同，喜好、支出情况） 数据库设计缺陷（未对某属性进行设定） Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 5.2 数据预处理的步骤 数据离散化 某些算法仅处理分类数据：将数据划分成几个类 处理连续值 某些算法仅能处理离散值：划分 属性值分类：划分 属性选择和定序：剔除无关属性 属性变换：简化数据量和便于计算 检验：一致性、合理性 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 5.3 离散化方法 离散化：将连续变量划分成不同类别 划分方法：非监督的/监督的，全局的/局部的 非监督方法：与算法独立，仅根据数据集信息划分。 等宽划分（较多使用） 等频划分（较少使用） 基于聚类的划分（较多使用） 识别对象间的相似度，相似对象划分成同类 目标：类内距离小，类间距离大。 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 5.3 离散化方法 划分方法：非监督的/监督的，全局的/局部的 监督方法：与算法相关，模型建立过程中进行划分。 基于熵的划分 基于统计方法的划分 监督方法的特点（与非监督方法比较） 更准确 划分与选择的模型有关 速度较慢 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 5.3.1 离散化方法-人工方法 人工方法 将连续区间划分为几个子区间，对每个区间进行标号； 工资收入：（见p87） 低、中、高 气温：取值范围[-10, 40] 划分为冷、正常、热 主要面临的问题： 截断点的选择 子区间表示 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 5.3.2 离