3数据挖掘与技术原书第2版第2章数据预处理课稿.ppt

数据预处理 维度归约 使用数据编码或变换，以便得到原数据的归约或“压缩”表示 两种有损的维度归约方法 小波变换，一种线性信号处理技术 可以用于多维数据，如数据立方体 对于稀疏或倾斜数据和具有有序属性的数据，能给出很好的结果 适合高维数据 主成分分析，搜索k个最能代表数据的n维正交向量，其中k小于等于n， 这样，原来的数据投影到一个小得多的空间，导致维度归约。 该计算开销低，可以用于有序和无序的属性，并且可以处理稀疏和倾斜数据。 能够更好的处理稀疏数据 将数值区域划分为相对一致的、易于阅读的、看上去更直观或自然的区间。 聚类分析产生概念分层可能会将一个工资区间划分为：[51263.98, 60872.34] 通常数据分析人员希望看到划分的形式为[50000，60000] 自然划分的3-4-5规则常被用来将数值数据划分为相对一致，“更自然”的区间 根据直观划分离散化 分类数据是指无序的离散数据，它有有限个值（可能很多个）。 分类数据的概念分层生成方法： 由用户或专家在模式级显式地说明属性的偏序。 通过显示数据分组说明分层结构的一部分。 说明属性集，但不说明它们的偏序。 对只说明部分属性集的情况。 分类数据的概念分层产生 根据在给定属性集中，每个属性所包含的不同值的个数，可以自动的生成概念分成；不同值个数最多的属性将被放在概念分层的最底层。 country province