第七讲 数据预处理.ppt

第七讲 数据预处理;目录;一、为什么需要数据预处理?;数据为什么会“肮脏”;为什么数据预处理很重要;数据预处理的主要任务;数据预处理的形式 ;目录;二、 数据的中心趋势与离散特征;度量中心趋势;; Symmetric vs. Skewed Data;度量数据的离散度;盒图分析;;基本统计类描述的图形显示;分位数图Quantile Plot;分位数－分位数图 (Q-Q图);散布图(Scatter plot);Loess 曲线;Positively and Negatively Correlated Data;Graphic Displays of Basic Statistical Descriptions;目录;三、 数据清理;1 缺失数据;如何处理缺失数据?;;2 噪声数据;如何处理噪声数据?;简单离散化方法:分箱;用于数据平滑的分箱方法;聚类分析;回归;目录;1. 数据集成;处理数据集成中的冗余数据;Correlation Analysis (Numerical Data);相关分析 (Categorical Data);Chi-Square Calculation: An Example;2 数据变换;数据转换: 规范化;z-score规范化（0均值规范化） 其中标准差 例子：假??属性income的平均值和标准差分别是$54000和$16000，使用