[传感器异常数据处理.docVIP

异常数据处理方法研究 1异常数据处理概述 1.1 研究背景 近年来，随着海上风力发电技术的日益成熟和陆上风电可开发资源的不断减少，海上风电尤其是近海风电的开发开始加速。风机是海上风电开发的主要形式，而风机基础结构承担着抵抗海上风机结构的竖向、水平荷载和倾覆力矩的作用，其质量关系到海上风机结构的运行安全。作为隐蔽工程，其健康状况受到了社会各界的高度重视，如何对风机基础特别是MW级风机基础的安全运行状况监测成为研究领域的热点。现有的监测技术需要通过设置在风机基础中的数据采集系统自动获取基础的各状态的大量参数，如应力、应变、振动、变形等，采集到的海量原始数据通过通信网络传输到监控中心，经过数据存储，分析处理得到基础的安全运行状况和维修决策等结论。 风机基础监测系统是集结构监测、系统识别及结构评估于一体的综合监测系统，其内容包括几何变形监测、结构响应（应力、应变及振动）监测等。监测系统的质量主要取决于三方面因素:(1)传感器的灵敏性和精度以及数据传输和采集设备的性能；(2)测点的空间分布，即传感器的最优布置问题；(3)异常数据的分析处理。 从目前电子技术的发展来看，成熟、稳定、高性能的传感器已经被应用与监测系统中，而且合理安排传感器位置，以达到信息采集的最优化，也已经有很多研究成果。但由于监测信息格式复杂、信息量大，每天数据量甚至能达到十几GB，如果不能有效地对这些数据进行处理，很多异常数据将不能有效辨识，缺失信息将不能有效弥补，而且监测数据的分析必须建立在准确有效的监测数据之上，低精度和异常的监测数据常常影响数值分析的结果，会影响到系统的功能与特性分析，给后续数据处理带来很大的误差，正常信息不能得到有效利用，故有必要对原始采集数据进行处理。因此监测异常数据处理是三方面中至关重要的一点。 监测系统异常数据处理包含两个方面的内容：(1)异常数据检测，即找出异常信息并确定异常信息所在位置，根据需要将异常数据保存入专门数据库中或直接进行剔除；(2)异常数据修正，即通过插值等方法，参考数据异常点前后的数据，完成该异常数据点的修正，确保采集信息不缺失，保持原始采集数据的连续性。 异常是一个复杂的概念，迄今为止还没有一个统一定义。Hawkins提出的异常定义被大多数人所接受，其定义为：异常是在数据集中与众不同的数据，使人们怀疑这些数据并非随机产生的，而是产生于完全不同的机制。异常数据往往代表一种偏差或者新模式的开始，因此对异常数据的识别有时会比正常数据更有价值。传感器异常数据是指在数据集中与大部分数据不一致或者偏离正常行为模式的数据。异常数据的产生主要是因为以下几种情况而发生的：(1)数据来源中的异常，这类异常中可能隐藏着重要的知识或规律。对这类异常分析可以获取常规数据不能得到的新的信息，如基础结构损坏等；(2)数据固有变化异常，这类异常通常是自然发生的，如风速的变化、波浪波动等；(3)数据测量误差，这类异常的产生往往是因为测量仪器故障或者网络传输错误，以及噪音的存在引起的，这类异常通常作为噪声而被删除。 与其他工程相比，风机基础安全状况监测发展较为滞后，尚未发现关于风机基础监测数据处理的相关研究成果，其监测异常数据的处理缺乏相应的经验。可以借鉴类似工程监测数据处理的方法进行研究。而针对监测数据的种类多、数据海量、频幅分布广等特点，国内学者已经研究了很多处理办法。其中研究较多的如小波分析、数据挖掘、数据流理论等。然而，目前的类似工程监测数据处理的方法主要是在离线数据的基础上，在实时监控上还缺乏相应的准确率和智能化。 结合风机基础特点，寻找一种有效的适用于风机基础监测实时数据处理的方法具有十分重要的研究意义和实用价值。 1.2 国内外研究现状综述 在国外，研究人员通过对异常挖掘的深入研究，根据对异常存在形式的不同假设，提出了许多异常数据检测算法。早期的异常数据检测方法是基于统计的方法，这种方法依赖于数据集服从某种标准分布，所以异常数据是基于概率分布来定义的，如Yamanishi等人将正常行为用一个高斯混合模型来进行描述，通过计算数据对象与这个模型的偏离程度来发现异常。虽然这种基于标准分布的模型，能识别异常现象，但此类方法有很大的局限性，因为往往无法预知数据集是服从哪类标准分布。为了克服这种缺陷，James P.R、Daniel B.H假设检验方法的理论基础上，提出了一种基于某置信度区间标准的异常检测方法，达到这个标准的则为正常数据，反之则为异常。 Knorr 等人于 1998年提出了基于距离的异常数据检测算法，他们认为数据是高维空间中的点，异常数据被定义为数据集中与大多数点之间的距离大于某个事先设定的阈值的数据。F.Abgiulli和C.Pizzuti等学者针对基于距离的异常数据挖掘算法在高维数据中计算时间较长的缺点，将图论中的连通性原理引入