数据挖掘CHAPTER2数据预处理.pptVIP

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * PCA and Wavelet are forms of data compression also. * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 2021/3/27 * 数据立方体聚集 数据立方体存储多维聚集信息 某抽象层上建的数据立方体称为方体(cuboid) 最底层建的方体称为基本方体(base cuboid) 最高层的立方体称为 顶点方体(apex cuboid) 每个更高层的抽象将减少数据的规模 使用合适的抽象层上的数据 对数据立方体聚集得到与任务相关的最小立方体 2021/3/27 * * 数据压缩 Data Compression 字符串压缩 有丰富的理论和调优的算法 典型的是有损压缩; 但只有有限的操作是可可行的 音频/视频压缩 通常有损压缩,逐步细化 有时小片段的信号可重构,而不需要重建整个信号 时间序列不是音频 通常短,随时间缓慢变化 维度和数值规约可以被看成是数据压缩的一种形式 2021/3/27 * * 数据压缩 Original Data Compressed Data lossless Original Data Approximated lossy 2021/3/27 * DWT for Image Compression Image Low Pass High Pass Low Pass High Pass Low Pass High Pass Discrete wavelet transform(DWT): 2021/3/27 * 维度规约-特征选择 特征选择Feature selection (i.e., 属性子集选择): 删除不相关/冗余属性,减少数据集 找出最小属性集,类别的数据分布尽可能接近 使用全部属性值的原分布 减少了发现的模式数目, 容易理解 d个属性,有2d 个可能的属性子集 启发式方法Heuristic methods (因为指数级的可能性): 局部最优选择,期望获得全局最优解 逐步向前选择 逐步向后删除 step-wise backward elimination 向前选择和向后删除结合 决策树归纳 decision-tree induction 2021/3/27 * 维度规约-启发式特征选择方法 特征独立性假设下,最好的单个属性: 统计显著性检验方法 两样本t-test,等 逐步最好特征选择: 先选出最好的单个属性 下一个最好的特征加进来, ... 逐步向后删除 : 重复删除最差的特征 向前选择和向后删除结合 优化分支定界 (Optimal branch and bound) 使用特征删除和回溯 中止条件各有不同。 2021/3/27 * 出现在决策树中的属性构成最后的属性子集 最初的属性集合: {A1, A2, A3, A4, A5, A6} A4 ? A1? A6? Class 1 Class 2 Class 1 Class 2 最后的集合: {A1, A4, A6} 维度规约-决策树规约 2021/3/27 * * 维度规约-属性/特征产生 Feature Generation 产生新的属性,其可以比原始属性更有效地表示数据的重要信息。 三个一般方法: 属性提取 Attribute extraction 特定领域的 映射数据到新空间 E.g., 傅立叶变换, wavelet transformation, 流形方法( manifold approaches) 属性构造 组合特征 数据离散化 Data discretization 2021/3/27 * * x2 x1 e 主成分分析 (PCA) principal component analysis,K-L变换 找到一个投影,其能表示数据的最大变化 原始数据投影到一个更小的空间中,导致维度减少. 发现的协方差矩阵的特征向量,用这些特征向量定义新的空间 2021/3/27 * * 给定 p维空间中的N个点, 找到 k ≤ p 个正交向量 (principal components) 可以很好表示原始数据的 归范化输入数据: 每个属性值位于相同的区间内 计算 k 个标准正交向量, i.e., principal components 每个输入的点是这k 个主成分的线性组合 The principal components are sorted in order of decr