数据挖掘导论.pptVIP

数据挖掘导论 * * 数据挖掘导论 第1页，共24页。 不规则/异常检测 什么是异常/离群值？ 与其余数据相差很大的数据点集 异常/异常值检测问题的变体 给定数据库D，找到具有大于某个阈值t的异常分数的所有数据点x ? D 给定数据库D，找到具有前n个最大异常分数f(x)的所有数据点x ? D 给定包含大部分正常（但未标记）数据点的数据库D和测试点x，计算x相对于D的异常分数 应用： 信用卡欺诈检测，电信欺诈检测，网络入侵检测，故障检测 第2页，共24页。 异常检测的重要性 臭氧消耗历史 1985年，三个研究人员（Farman，Gardinar和Shanklin）对英国南极调查收集的数据感到困惑，表明南极洲的臭氧水平比正常水平下降了10％ 为什么Nimbus 7卫星（其上有用于记录臭氧水平的仪器）不记录类似的低臭氧浓度？ 由卫星记录的臭氧浓度如此之低，他们被计算机程序作为异常值处理并丢弃！ Sources:  .au/ozone.html  /ozone/science/hole/size.html 第3页，共24页。 异常检测 挑战 数据中有多少离群值？ 方法是无人监督的 验证可能相当具有挑战性（就像聚类