第4章 数据预处理《Python数据分析与挖掘实战》.pptxVIP

第4章 数据预处理;;记录重复是指数据中某条记录的一个或多个属性的值完全相同。 在某企业的母婴发货记录表中，利用列表（list）对用品名称去重，查看所有的品牌名称： ;重复值处理;pandas.DataFrame.drop_duplicates(subset=None, keep=first, inplace=False);属性内容重复是指数据中存在一个或多个属性名称不同，但数据完全相同。当需要去除连续型属性重复时，可以利用属性间的相似度，去除两个相似度为1的属性的其中一个： corr_ = data[[品牌标签, 仓库标签]].corr(method=kendall) print(kendall相似度为：\n, corr_) ;重复值处理;处理缺失值的方法可分为3类：删除记录、数据插补和不处理。 在数据分析中常用的插补方法处理缺失值： ; 拉格朗日插值公式指的是在节点上给出节点基函数，然后做基函数的线性组合，组合系数为节点函数值的一种插值多项式。 拉格朗日插值法的基本实现步骤如下： ; 牛顿插值法也是多项式插值，与拉格朗日插值相比，具有承袭性和易于变动节点的特点。牛顿插值法的基本实现步骤如下：; 在数据预处理时，异常值是否剔除，需视具体情况而定，因为有些异常值可能蕴含着有用的信息。异常值处理常用方法如下： ;; 简单函数变换是对原始数据进行某些数学函数变换，常用的包括平方、开方、取对数、差分运算等。 平方： 开方： 取对数： 差分运算：; 最小-最大标准化也称为离差标准化，是对原始数据的线性变换，将数值映射到[0,1]之间。 其中， max为样本数据的最大值， min为样本数据的最小值。max-min 为极差。 ; 零-均值标准化也叫标准差标准化，经过处理的数据的均值为0，标准差为1。 其中 为原始数据的均值， 为原始数据的标准差，零-均值标准化是当前用得最多的数据标准化方法。 ; 通过移动属性值的小数位数，将属性值映射到[-1,1]之间，移动的小数位数取决于属性值绝对值的最大值。 其中k为属性值中绝对值最大的数值的位数。;数据离散化;数据离散化;独热编码即One-Hot编码，又称一位有效编码，是处理类型数据较好的方法，主要是使用N位状态寄存器来对N个状态进行编码，每个状态都有它独立的寄存器位，并且在任意时候都只有一个编码位有效。 独热编码有以下优点： 将离散型属性的取值扩展到欧氏空间，离散型属性的某个取值就对应欧氏空间的某个点。 对离散型属性使用独热编码，可以让属性之间的距离计算更为合理。;在Python中使用scikit-learn库中preprocessing模块的OneHotEncoder函数进行独热编码，该函数的基本使用格式如下： class sklearn.preprocessing.OneHotEncoder(n_values=‘auto’, categorical_features=‘all’, dtype=class ‘numpy.float64’, sparse=True, handle_unknown=’error’) ;;多表合并;多表合并;pandas.concat(objs, axis=0, join=outer, join_axes=None, ignore_index=False, keys=None, levels=None, names=None, verify_integrity=False, copy=True) ;pandas.DataFrame.append(other, ignore_index=False, verify_integrity= False);主键合并，即通过一个或多个键将两个数据集的行连接起来。 ;pandas库中的merge函数和join()方法都可以实现主键合并，但两者的实现方式并不相同。merge函数的基本使用格式和常用参数说明如下： pandas.merge(left, right, how=inner, on=None, left_on=None, right_on=None, left_index=False, right_index=False, sort=False, suffixes=(_x, _y), copy=True, indicator=False) ;除了使用merge函数以外，join()方法也可以实现部分主键合并的功能。但是使用join()方法时，两个主键的名字必须相同，join函数的基本使用格式和常用参数说明如下： pandas.DataFrame.join(other, on=None, ho