第2章数据仓库的数据存储与处理.pptVIP

* 如何处理空缺值 忽略元组：假定挖掘任务设计为分类或描述时，缺少类标号的元组通常被忽略。元组中属性缺少值比较多时，挖掘算法的效果非常差。 人工填写空缺值：工作量大，可行性低 使用一个全局常量填充空缺值：比如使用unknown或-∞ 使用属性的平均值填充空缺值 使用与给定元组属同一类的所有样本的平均值 使用最可能的值填充空缺值：使用Bayesian公式或判定树等基于推断的方法确定。 * ２）噪声数据 噪声：一个测量变量中的随机错误或偏差。 引起不正确属性值的原因: 数据收集工具的问题 数据输入错误 数据传输错误 技术限制 命名规则的不一致 * 处理噪声数据方法 1、分箱(binning) 先排序数据，并将他们分到等深（宽）的箱中 然后对每箱使用平均值平滑、中值平滑和边界平滑等方法 * 数据平滑的分箱方法 price的排序后数据：4，8，15，21，21，24，25，28，34 划分为（等深的）箱 箱1：4，8，15 箱2：21，21，24 箱3：25，28，34 用箱边界平滑 箱1：4，4，15 箱2：21，21，24 箱3：25，25，34 用箱平均值平滑 箱1：9，9，9 箱2：22，22，22 箱3：29，29，29 平均值平滑-箱中每个值被平均值替换 中值平滑-箱中每个值被中值（排序后出现次数最多的值）替换 边界平滑-最小最大值视为边界，箱中每个值被靠近的边界值替换 * 如何处理噪声数据（续） 2、聚类 将联系松散的数据当作孤立点，监测并且去除孤立点。聚类集合之外的点即为孤立点。 * 如何处理噪声数据（续） 3、回归 通过让数据适应回归函数来平滑数据（线性回归或多线性回归）。 x y = x + 1 X1 y Y1 Y1’ * 如何处理噪声数据（续） 4、计算机和人工检查结合 计算机检测可疑数据，然后对它们进行人工判断。 * 2.3.4数据转换（Transform） 定义：将数据从源操作型业务系统的格式转换到企业数据仓 库的数据格式。 两种类型的数据转换 记录级-选择、连接、规范化和聚集 字段级-单字段和多字段 单字段转换的基本方法：算法和查找表 注意：连接的复杂性。 1）不是关系情形 2）不同域情形 3）源数据有错误情形 * 2.3.4数据转换（Transform） １）数据集成 数据集成：将多个数据源中的数据整合到一个一致的数据存储（如数据仓库）中。 ○ 模式集成-实体识别问题 匹配来自不同数据源的现实世界的实体，比如：A.cust-id=B.customer_no？ ○冗余问题 同一属性在不同的数据库中会有不同的字段名；一个属性可以由另外的属性导出，即两个属性是相关的。 如：工资、基本工资、加班工资 * Σ[（A-A平）（B-B平）] RA,B = （n-1) σA σB 如果RA ,B 〉0，则A和B是正相关的；该值越大，则A涵盖B的可能性越大。 如果A，B相关性大，分析时就可以删除其中一个。 相关分析：讨论两个属性的相关性。 A平= ΣA/n σA= SQRT[Σ(A- A平)2/(n-1)] 其中A平、B平分别是A、B的平均值；σA 、σB分别是A、B的标准差。 * ○ 检测并解决数据值的冲突 不同的数据表示，不同的度量等等。 例如： 对现实世界中的同一实体，来自不同数据源的属性值可能是不同的（如价格的单位：元、千元）。 １）数据集成（续） * ２）数据变换 平滑：去除数据中的噪声。如分箱、聚类、回归。 聚集：对数据进行聚集和汇总，数据立方体的构建。 数据概化：沿概念分层向上汇总。 规范化：将数据按比例缩放，使之落入一个小的特定区间。 最小－最大规范化 z-score规范化 小数定标规范化 属性构造 通过现有属性构造新的属性，并添加到属性集中。 * 数据变换——规范化 maxA,minA :属性A的最大与最小值 new_ maxA,new_minA:属性A变换后区间的最大与最小值 ※ 最小－最大规范化:对原始数据进行线性变换，使得数据落在new_ maxA,new_minA区间内。 例：（一般映射到[0，1]区间）工资在700~12000之间，则工资7830规范化后为： V’=（7830-700）/（12000-700）*（1-0）+0=0.7430 * 数据变换——规范化 ※ z-score规范化:基于属性A的平均值和标准差规范化。 ※ 小数定标规范化：通过移动属性A的小数点位置进行规范化。 其中j是使得max