异常检测预防性维护综述.docxVIP

PAGE9 / NUMPAGES10 predictive maintenance anomaly detection 异常检测 1.1异常检测概述 1.1.1定义 异常：在数据集中偏离大部分数据的数据，使人怀疑这些数据的偏离并非由随机因素产生，而是产生于完全不同的机制。 出现异常原因：测量、输入错误或系统运行错误；数据内在特性所决定；客体的异常行为所致。 异常挖掘：给定N个数据对象和所期望的异常数据个数，发现明显不同、意外，或与其它数据不一致的前k个对象。 异常检测：检测不符合期望的数据、行为。发现与大部分对象不同的对象，其实就是发现离群点。 异常检测(Anomaly detection)的假设是入侵者活动异常于正常主体的活动。根据这一理念建立主体正常活动的“活动简档”，将当前主体的活动状况与“活动简档”相比较，当违反其统计规律时，认为该活动可能是“入侵”行为。异常检测的难题在于如何建立“活动简档”以及如何设计统计算法，从而不把正常的操作作为“入侵”或忽略真正的“入侵”行为。 异常检测举例： （1）异常检测是指通过攻击行为的特征库，采用特征匹配的方法确定攻击事件。误用检测的优点是检测的误报率低，检测快，但误用检测通常不能发现攻击特征库中没有事先指定的攻击行为，所以无法检测层出不穷的新攻击。 （2）异常检测是指根据非正常行为(系统或用户)和使用计算机非正常资源来检测入侵行为。其关键在于建立用户及系统正常行为轮廓，检测实际活动以判断是否背离正常轮廓。 （3）异常检测是指将用户正常的习惯行为特征存储在数据库中，然后将用户当前的行为特征与特征数据库中的特征进行比较，如果两者的偏差足够大，则说明发生了异常。 （4）异常检测是指利用定量的方式来描述可接受的行为特征，以区分和正常行为相违背的、非正常的行为特征来检测入侵。 （5）基于行为的入侵检测方法,通过将过去观察到的正常行为与受到攻击时的行为相比较,根据使用者的异常行为或资源的异常使用状况来判断是否发生入侵活动,所以也被称为异常检测 （6）统计分析亦称为异常检测,即按统计规律进行入侵检测.统计分析先对审计数据进行分析,若发现其行为违背了系统预计,则被认为是滥用行为 （7）统计分析亦称为异常检测.通过将正常的网络的流量.网络延时以及不同应用的网络特性(如时段性)统计分析后作为参照值,若收集到的信息在参照值范围之外,则认为有入侵行为 （8）异常检测方法首先定义一组系统处于“正常”情况时的数据，如CPU利用率、内存利用率、文件校验和等然后进行分析确定是否出现异常。 1.1.2异常检测指导原则 异常是不可知的，正常状态则相对稳定。那如何确定正常与异常间的分界阈值呢？统计量在大样本时渐进服从正态分布，生产与科学实验中很多随机变量的概率分布都可以近似地用正态分布（高斯分布）来描述。 检测方法阐述 — 3σ原理：正态变量的取值绝大部分落在μ±3σ的区间之内，比例约为99.74%。即以3σ为半径的区间之外的概率还不足0.3%，几乎可以以零计。这样小的概率可以看做异常。 1.1.3异常检测 VS 监督学习 1.1.4异常检测应用 异常检测的实际应用：去噪、网络入侵检测、欺诈检测、设备故障检测、机会识别、风险识别、特殊群体识别、患病诊断、视频监测等。 生活中的实例，欺诈检测：主要通过检测异常行为来检测是否为盗刷他人信用卡；入侵检测：检测入侵计算机系统的行为；医疗领域：检测人的健康是否异常，医学研究中发现医疗方案或药品所产生的异常反应；电信、保险、银行中的欺诈检测与风险分析；发现电子商务中的犯罪行为；灾害气象预报；税务局分析不同团体交所得税的记录，发现异常模型和趋势；海关、民航等安检部门推断哪些人可能有嫌疑；海关报关中的价格隐瞒；营销定制：分析花费较小和较高顾客的消费行为；运动员的成绩分析；应用异常检测到文本编辑器，可有效减少文字输入的错误。 异常检测通过对输入数据进行分析，检测异常状态。输入数据类型包括:连续型、二值型、类别型、图、时空数据、图像、音频等，输出异常事件或者异常概率。在选择异常检测方法时既要考虑解决的问题，也要考虑数据状态，如数据类型、数据分布、数据标记、数据量等。 1.1.5异常检测存在的问题 异常检测系统主要面临两个挑战：一是数据规模大，总共有百万量级的指标；二是曲线的特征差异明显，监控难度大。 典型正常区域的定义不易；正常对象和离群点之间的界线不明确；离群点的确切概念随应用领域而异；训练/验证已标记数据的可用性；数据可能包含噪声；恶意对手的存在，反检测；正常行为不断演变。 1.2异常检测算法 1.2.1异常检测主要方法简介 异常检测方法主要包括分类、聚类、统计分析、信息熵、信号分析等。 （1）分类方法通过对标记样本建立分类模型进行异常检测，分类方法分为监督和半监督方法。监督方法需要均