数据挖掘原理与应用——以石油勘探开发为例 课件 4.3 数据分析与探索.pptxVIP

4.3数据分析与探索

数据分析与探索概述本节从数据预探索、数据预处理、数据存储和数据分析4个方面阐述数据处理分析的基本步骤和方法。数据获取1数据初探2数据预处理3数据存储4数据分析5

1.数据属性属性又称：维度数学特征机器学习变量统计属性类别型属性用于区分不同数据对象的符号或名称序数型属性数值型属性属性值之间具有顺序关系使用定量方法表达属性值数据分析与探索

2.数据初探主要任务：进行数据质量分析和特征分析检查数据中的“脏数据”分析数据的本质、描述数据的形态特征解释数据的相关性数据分析与探索

2.数据初探—数据特征分析目的：形成对数据基本的了解数据分析与探索

3.数据预处理现实世界采集的数据有噪声、不完整、不一致数据预处理提高数据分析的质量，降低实际分析所属的时间数据分析与探索

3.数据预处理数据分析与探索1.数据清理(1)缺失值策略删除错误数据缺失数据填补

3.数据预处理数据分析与探索（2）噪声值噪声值是被测量变量的随机误差或方差通常有效但不准确策略回归分析离群点分析

3.数据预处理数据分析与探索（3）不一致数据策略手工修改数据集成时解决不一致问题数据输入时的录入错误同一属性在不同数据库中取名不规范导致

数据分析与探索4.数据存储数据存储整个数据分析及可视