数据的预处理与后处理第五章.pptVIP

(湖南师大附中内部资料)高三化学习总复习课件：高三第五次周考试卷分析课0801(课件)(培训课件)班组建设与5S管理培训多媒体计算机系统常用硬件设备教材 (湖南师大附中内部资料)高三化学习总复习课件：高三第五次周考试卷分析课0801(课件)(培训课件)班组建设与5S管理培训多媒体计算机系统常用硬件设备教材 数据的预处理和后处理 第五章 5.1 数据预处理的内涵 数据集的准备和变换是数据挖掘过程最重要的步骤之一； 原始数据很难直接用于数据挖掘； 文献中通常不被重视； 应用中需花费大量时间和精力； 可看做是与挖掘相独立的过程； 数据收集 预处理 挖掘 后处理 结果解释 5.2 数据预处理的步骤 对象表示 属性：对象的形式化描述 分类 离散型（符号的、标称的、分类的） 连续型（连续的） 结构型（复合的） 对象收集和映射 确定属性的名称和取值范围 5.2 数据预处理的步骤 缩放大型数据集 处理大型数据库 算法仅假定数据均存在主存中 调度方法： 窗口式（顺序） 批量式（按某一属性提取） 增量式（减轻模型建立的负担） 5.2 数据预处理的步骤 噪声和错误 外部错误：随机错误和噪声（干扰） 内部错误：算法精度和实用性 未知属性值 未知或缺失的属性值 来源： 收集过程中被遗忘或丢失 不适当的或不存在的（混合类型的对象，煤、天然气） 不相关属性（研究问题的不同，喜好、支出情况） 数据库设计缺陷（未对某属性进行设定） 5.2 数据预处理的步骤 数据离散化 某些算法仅处理分类数据：将数据划分成几个类 处理连续值 某些算法仅能处理离散值：划分 属性值分类：划分 属性选择和定序：剔除无关属性 属性变换：简化数据量和便于计算 检验：一致性、合理性 5.3 离散化方法 离散化：将连续变量划分成不同类别 划分方法：非监督的/监督的，全局的/局部的 非监督方法：与算法独立，仅根据数据集信息划分。 等宽划分（较多使用） 等频划分（较少使用） 基于聚类的划分（较多使用） 识别对象间的相似度，相似对象划分成同类 目标：类内距离小，类间距离大。 5.3 离散化方法 划分方法：非监督的/监督的，全局的/局部的 监督方法：与算法相关，模型建立过程中进行划分。 基于熵的划分 基于统计方法的划分 监督方法的特点（与非监督方法比较） 更准确 划分与选择的模型有关 速度较慢 5.3.1 离散化方法-人工方法 人工方法 将连续区间划分为几个子区间，对每个区间进行标号； 工资收入：（见p87） 低、中、高 气温：取值范围[-10, 40] 划分为冷、正常、热 主要面临的问题： 截断点的选择 子区间表示 5.3.2 离散化方法-分箱 分箱 假设有年龄的集合：{0,4,12,16,16,18,24,26,28} 等宽分箱 子区间宽度相同 取宽度为10：{0,4}，{12,16,16,18}，{24,26,28} 等频分箱 子集元素个数相同 取密度（频度）为3： {0,4,12},{16,16,18},{24,26,28} 离散化方法-基于熵 基于熵的分箱（二元化） 原则：使得箱尽可能纯 S={0,4,12,16,16,18,24,26,28} Entropy(S)=-plog(p)-nlog(n) 假设有一个划分 则此划分的信息为： 信息增益为： X Y 0 p 4 p 12 p 16 n 16 n 18 p 24 n 26 n 28 n 5.3.3 离散化方法-基于熵 方法 分割点必然在不同类之间 分割点取为上下属性值的均值 注意：不可破坏实例顺序 按不同属性分箱可得到不同结果 X Y 0 p 4 p 12 p 16 n 16 n 18 p 24 n 26 n 28 n 5.4 特征提取 特征提取是预处理的任务 特点： 独立于数据挖掘方法 进行一次，可在以后多次挖掘中使用 计算开销较小、能处理大数据量 离线工作，可组合使用 主要内容：主成分分析 5.4 特征提取 定义：通过某种函数映射，从原有的特征中提取新的特征集； 假设原有n个特征（属性） 从中提取m个新特征 必须满足mn 数学描述为： 线性回归的特征提取 目标： 新特征集最小 包含的信息最全 (湖南师大附中内部资料)高三化学习总复习课件：高三第五次周考试卷分析课0801(课件)(培训课件)班组建设与5S管理培训多媒体计算机系统常用硬件设备教材 (湖南师大附中内部资料)高三化学习总复习课件：高三第五次周考试卷分析课0801(课件)(培训课件)班组建设与5S管理培训多媒体计算机系统常用硬件设备教材