数组数据的处理与分析异常数据的分析与数据去重上43课件讲解.pptxVIP

数组数据的处理与分析-异常数据的分析与数据去重（上）

任务描述任务描述：使用NumPy对于数据集中的异常数据进行甄别并处理，最后绘制成直方图进行展示。主要内容：了解什么是NumPy异常数据分析2.NumPy异常数据的类型3.NumPy异常数据检测方法

NumPy异常数据分析介绍NumPy异常数据分析的作用NumPy提供的计算百分位数/四分位数函数可以帮助我们了解数据的分布范围、离散程度和异常值可能出现的位置，从而更好地识别异常值。此外，标准差和方差函数也是常用的异常数据分析方法。通过计算数据的标准差和方差，我们可以判断数据的稳定性和偏差情况，从而进一步推断异常值的可能性和位置。NumPy异常数据分析的概念NumPy提供的异常数据分析功能可以帮助数据分析员快速检测出潜在的异常值，并确定其对数据集的影响。异常数据通常指一些不符合正常数据分布模型的值，这些值可能是由于各种因素引入的错误、噪声或真实数据中的离群点。

（1）空值NaN表示“NotaNumber”，通常用于表示缺失值或者计算错误。在NumPy中，NaN属于浮点类型数据，可以使用numpy.isnan()函数进行判断。（2）无穷大inf表示“Infinity”，常用于表示除数为零或某些计算结果超出了数据类型表示范围的情况。在NumPy中，inf也属于浮点类型数据，可以使用numpy.isinf()函数进行判断。（5）溢出在浮点数运算中，当计算结果超过数据类型所能表示的范围时，就会出现溢出现象。NumPy异常数据的类型（3）无限小-inf表示负无穷大，和inf类似，在NumPy中也属于浮点类型数据，并可以使用numpy.isneginf()函数进行判断。（4）非法数值非法数值指的是那些无法被表示为浮点数的值，例如“0/0”所得的“NaN”就是一个非法数值。在NumPy中，可以使用numpy.isfinite()函数判断一个数值是否为有限值或非法数值。

NumPy异常数据检测方法（1）基于统计学的方法基于统计学的异常数据检测方法是一种最常用和最直接的异常数据检测技术。在这种方法中，我们根据统计分布假设和已知正常值的特征来寻找不符合正常数据模型的数据点。这种方法通常基于标准差和四分位数等统计量，与整体数据的分布有关。

NumPy异常数据检测方法（2）基于聚类的方法基于聚类的异常数据检测方法需要对数据进行聚类，然后查找不属于任何簇的数据点或所属簇与其它簇差别较大的数据点。这种方法通常用于在高维度空间下检测异常数据，如图像、文本和声音等非结构化数据，可使用K-Means,DBSCAN等算法。

NumPy异常数据检测方法（3）基于机器学习的方法基于机器学习的异常数据检测方法主要是通过建立分类（Classification）或回归（Regression）模型来进行判断。输入样本被视为那些离群值，而剩余的样本则是正常值。该方法依赖于特征选择（FeatureSelection）、选择评估函数和训练算法的选择等多个方面。