大数据应用基础-数据挖掘流程.pptVIP

数据挖掘流程 大数据应用基础——第三次课 魏炜 weiwei@ 数据挖掘的基本流程 数据挖掘的基本流程 高度重视以下同义词 以下术语大致是同一个意思： 表格中的行：个案=实例=记录=样本点=数据点 表格中的列：属性=特征=字段=维度=预测变量=自变量 数据预处理 数据预处理的步骤 主要包括： 数据集成 数据清理 数据归约（抽样和属性筛选） 数据变换。 数据质量有很多方面问题 数据准备 在数据挖掘过程中，数据准备工作占用的时间往往在一半甚至60%以上！ 这些工作对提高数据挖掘结果的准确性是必不可少的。因为，没有高质量的数据，就没有高质量的挖掘结果。 数据挖掘出现错误结果多半是由数据源的质量引起的。因此应该重视原始数据的质量，从源头上减少错误和误差，尤其是减少人为误差。 数据准备的重要性 数据准备工作占用的时间往往在60%以上！ 数据集成 数据挖掘或统计分析可能用到来自不同数据源的数据，我们需要将这些数据集成在一起。 如果只有一个数据源，这一步可以省略。 数据集成中的实体识别问题 一个重要问题是实体识别问题：在不同的数据源中，相同的字段也许有不同的名称。 我们需要识别数据中能唯一标识实体的字段。我们怎么能确定一个数据源中的customer_id和另一个数据源中的customer_number指的是同一个字段呢？这里我们可以利用字段的元数据信息，例如含义、数据类型、字段允许值的范围等，从