大数据应用基础数据挖掘流程.pptxVIP

大数据应用基础数据挖掘流程第一页，共七十五页，2022年，8月28日333信息收集135数据预处理2数据挖掘知识表示评估4数据挖掘的基本流程第二页，共七十五页，2022年，8月28日数据挖掘的基本流程第三页，共七十五页，2022年，8月28日高度重视以下同义词以下术语大致是同一个意思：表格中的行：个案=实例=记录=样本点=数据点表格中的列：属性=特征=字段=维度=预测变量=自变量第四页，共七十五页，2022年，8月28日数据预处理第五页，共七十五页，2022年，8月28日数据预处理的步骤第六页，共七十五页，2022年，8月28日主要包括：数据集成数据清理数据归约（抽样和属性筛选）数据变换。数据质量有很多方面问题第七页，共七十五页，2022年，8月28日数据准备第八页，共七十五页，2022年，8月28日在数据挖掘过程中，数据准备工作占用的时间往往在一半甚至60%以上！这些工作对提高数据挖掘结果的准确性是必不可少的。因为，没有高质量的数据，就没有高质量的挖掘结果。数据挖掘出现错误结果多半是由数据源的质量引起的。因此应该重视原始数据的质量，从源头上减少错误和误差，尤其是减少人为误差。数据准备的重要性数据准备工作占用的时间往往在60%以上！第九页，共七十五页，2022年，8月28日数据集成数据挖掘或统计分析可能用到来自不同数据源的数据，我们需要将这些数据集成在一起。如果只有一个数据源，这一步可以省略。第十页，共七十五页，2022年，8月28日数据集成中的实体识别问题第十一页，共七十五页，2022年，8月28日一个重要问题是实体识别问题：在不同的数据源中，相同的字段也许有不同的名称。我们需要识别数据中能唯一标识实体的字段。我们怎么能确定一个数据源中的customer_id和另一个数据源中的customer_number指的是同一个字段呢？这里我们可以利用字段的元数据信息，例如含义、数据类型、字段允许值的范围等，从而避免在数据集成时出错。如果我们确定这两个字段是一致的，那么我们就能够把标识相同的客户当作同一个客户。数据集成中的实体识别问题第十二页，共七十五页，2022年，8月28日对于互联网企业来说，一个需要注意的重要问题是如何能把PC端用户、手机端用户给对应起来。也就是说，如何能保证，用户在不同设备上登录你的网站时的访问记录都能汇总到一起，而不是把这些访问记录当做是多个不同用户的访问记录。数据集成中属性值不一致的问题第十三页，共七十五页，2022年，8月28日同一个人的名字可能在一个数据库中登记为“王思聪”，在另一个数据库中则登记为“Sicong Wang”。数据集成中的数据值格式不一致问题对同一个实体，来自不同数据源的属性值可能是不同的。原因可能是各个数据源往往以不同的方式表示相同的数据，或采用不同的度量等。例如，不同数据源中日期的格式不同。日期有时是一个数值；有时是以“XXXX年X月X日”的字符串格式存储；有时以“YY/MM/DD”的字符串格式存储。又例如，对同一个省份可能用了不同的名称。还有，同一个名字的属性sales，在一个数据库中是指一个区域的销量，在另一个数据库中可能是指一个分店的销量。第十四页，共七十五页，2022年，8月28日数据集成中的数据值格式不一致问题重量在一个数据源中的单位可能是千克；在另一处则是斤。另一种度量一种度量第十五页，共七十五页，2022年，8月28日数据集成中的属性冗余问题第十六页，共七十五页，2022年，8月28日一个属性可能能由另一个或一组属性导出。有些冗余可以被相关分析检测到。我们通过相关系数或卡方检验了解两个属性是否是统计相关的。数据探索在数据集成后，需要数据探索（data exploring）。这个步骤不是数据预处理，但对数据预处理很重要。几乎很少有现成的数据能直接使用。数据总是看上去不整洁，例如有脏数据、缺失值等。怎样能知道数据的质量呢？你需要把自己沉浸在数据中，进行数据探索，从而了解数据质量。第十七页，共七十五页，2022年，8月28日数据探索的方法在R中的summary(变量名)这种指令（在其他软件中有类似指令）能提供诸多基本统计信息。比如：每个变量的值域区间（最大值和最小值）是否合理？所有的值都落在期望的区间内吗？平均值与中位数是相等的还是差别很大（这有助于说明变量是否符合正态分布）？数据是对称的还是倾斜的。每个变量的标准差是多少？（远离属性的均值超过两个或三个标准差的值可能是离群点）有多少缺失值？第十八页，共七十五页，2022年，8月28日直方图箱图箱图通过直方图，能观察连续型变量的分布是否接近正态分布。对于离散型变量，则可以用频次分析。通过箱图，能观察到离群值，比如识别出观测值特别高的个案。通过散点图，能了解属性之间是否有相关性。散点图第十九页，共七十五页，2022年，8月28日