数据预处理任务及方法..doc

数据预处理任务及方法. 数据预处理任务及方法. PAGE / NUMPAGES 数据预处理任务及方法. null 非监督式的离散化（ Unsupervised Discretization） 分类中离散化方法的一个很 大的区别是是否使用类别信息。 使用了类别信息的成为监督 式的离散化 （ supervised） ，没有使用类别信息的成为非监督式的方法（ Unsupervised） 。 等 宽方法（ equal width）将范围内的属性划分成一个用户指定的区间数量，每个区间都有 相同的宽度（ width ） 。这样的方法受离群值影响很大。因此，等频方法（等深方法） （equal frequency，equal depth） ，是将相同数量的对象分到每个区间中，这也很常用。 监督式的离散化（ Supervised Discretization） 使用额外的信息 （类标签）通常会产生更好的结果。无类标签知识构造的区间通常会包 含混合的类标签。从概念上讲，分割的简单的方法是最大化区间纯度（ purity ） 。实际中，这样的方法需要人工选择区间的纯度和最小的区间大小。 为了克服这样的困难， 一些统计的 方法被用来解决这些问题。先将每个类的值都作为单独的区间，再根据统计测试，合并临近 的相似区间（ adjacent intervals）获取更大的区间。基于熵（ entropy）的方法是很好的。 有太多值得类别属性（ Categorical Attributes with Too Many Values） 类别属性有时候会产生很多的值。 如果类别属性的是顺序的，可以利用类似连续属性离 散化的方法。 如果类别属性是分类的， 则要利用一些领域知识。 如一个大学可以有很多学院。 学院名称可能有很多的值， 这种情况我们可以将很多的学院联合在一起组成更大的组， 如工 程类，社会科学类，生物科学 类等。如果领域知识无法使用就要根据实际情况进行操作。只 有在类别合并时会 提高分类精确度时我们才可以合并。 五、变量转换 变量转换是将一个变量下的值 作统一变换。也就是，对于每一个对象，转换是针对对象 中变量的所有的值进行的。例如，如果一个变量的值的数量级是重要的，我们就可以取变量 值的绝对值。在这里我们只讨论两种重要的变量转换：简单函数转换（ simple functional transformations）和正规化（ normalization） 。 简单函数法 这种方法就是针对每个值做单独的函数处理。例如 x 是一个变量，纳闷这种变换可能是 null