数据挖掘原理与应用——以石油勘探开发为例 课件 3.4 数据集成和变换.pptxVIP

3.4数据集成和变换

数据集成和变换

一、数据集成

数据集成是将多个不同数据库、数据立方体或者文件等同构或异构数据源中的数据整合到一个一致的存储中的过程。

涉及主要问题:

1）实体识别问题：

匹配来自不同数据源的现实世界的实体

e.g.BillClinton=WilliamClinton

数据集成和变换

整合不同数据源中的元数据

e.g.A.cust_id=B.customer_no

通常，数据库和数据仓库有元数据，这种元数据可以帮助避免模式集成中的错误。

数据集成和变换

2）数据冗余问题

集成多个数据库时，经常会出现冗余数据

可导出数据：一个属性可以由另外属性导出，如“年薪”

属性或维命名的不一致

有些冗余可以被相关分析检测到

数据集成和变换

相关系数(数值数据)

Correlationcoefficient(alsocalledPearson’sproductmomentcoefficient)

相关系数（皮尔逊相关系数）(-1=rA,B=1)

n元组个数,和属性A和B上的平均值,σAandσB分别为各自标准差，Σ(aibi)istheAB叉积cross-product之和（即对于每个元组，A的值乘以该元组B的值）.

IfrA,B0,AandB正相关(A’svalues