第4章 R语言数据预处理文档可编辑修改.pptVIP

31 数据集成 —— 实体识别 ? 实体识别的任务是检测和解决同名异义、异名同义、单位不统一的冲突。 如： ? 同名异义：数据源 A 中的属性 ID 和数据源 B 中的属性 ID 分别描述的是菜 品编号和订单编号，即描述的是不同的实体。 ? 异名同义：数据源 A 中的 sales_dt 和数据源 B 中的 sales_date 都是是描述 销售日期的，即 A. sales_dt= B. sales_date 。 ? 单位不统一：描述同一个实体分别用的是国际单位和中国传统的计量单 位。 32 数据集成 —— 冗余属性识别 ? 数据集成往往导致数据冗余，如： ? 同一属性多次出现 ? 同一属性命名不一致导致重复 ? 不同源数据的仔细整合能减少甚至避免数据冗余与不一致，以提高数据 挖掘的速度和质量。对于冗余属性要先分析检测到后再将其删除。 ? 有些冗余属性可以用相关分析检测到。给定两个数值型的属性 A 和 B ， 根据其属性值，可以用相关系数度量一个属性在多大程度上蕴含另一个 属性。 33 数据变换 3 1 数据清洗 4 数据集成 2 数据规约 目录 5 R 语言主要数据预处理函数 34 数据变换 ? 主要是对数据进行规范化的操作，将数据转换成“适当的” 格式，以适用于挖掘任务及算法的需