CN106951353-CN201710165906-作业数据异常检测方法及装置.pdfVIP

(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 106951353 A (43)申请公布日 2017.07.14 (21)申请号 201710165906.2 (22)申请日 2017.03.20 (71)申请人 北京搜狐新媒体信息技术有限公司 地址 100084 北京市海淀区中关村东路1号 院9号楼搜狐网络大厦8层802 (72)发明人 王蕾　乔帅　 (74)专利代理机构 北京集佳知识产权代理有限 公司 11227 代理人 王宝筠 (51)Int.Cl. G06F 11/30(2006.01) G06F 17/30(2006.01) 权利要求书3页 说明书9页 附图4页 (54)发明名称 作业数据异常检测方法及装置 (57)摘要 本发明实施例提供了一种作业数据异常检 测方法及装置，可以获得多种作业数据；从所述 多种作业数据中去除冗余数据，得到待检测的多 种作业数据；确定所述待检测的多种作业数据中 的作业数据种类数量是否不大于第一预设阈值， 如果是，则将所述待检测的多种作业数据中每一 种作业数据作为多维组合的一个维度，将所有维 度构成的多维组合放入结果空间集合中；确定所 述结果空间集合中的为离群点的多维组合，将为 离群点的多维组合确定为异常数据。本发明首先 将异常作业数据视为某段时间内所有作业数据 中的离群点。本发明将作业数据的分析从一维扩 A 展到多维，使得异常作业数据的检测不再受单指 3 标的局限。 5 3 1 5 9 6 0 1 N C CN 106951353 A 权　利　要　求　书 1/3页 1.一种作业数据异常检测方法，其特征在于，包括： 获得多种作业数据； 从所述多种作业数据中去除冗余数据，得到待检测的多种作业数据； 确定所述待检测的多种作业数据中的作业数据种类数量是否不大于第一预设阈值，如 果是，则将所述待检测的多种作业数据中每一种作业数据作为多维组合的一个维度，将所 有维度构成的多维组合放入结果空间集合中； 确定所述结果空间集合中的为离群点的多维组合，将为离群点的多维组合确定为异常 数据。 2.根据权利要求1所述的方法，其特征在于，所述确定所述结果空间集合中的为离群点 的多维组合，包括： 确定所述结果空间集合中的多维组合的近邻点； 确定所述结果空间集合中的多维组合的局部密度及近邻点的局部密度； 基于所述多维组合的局部密度及近邻点的局部密度确定所述结果空间集合中的多维 组合的局部异常值因子LOF值； 将所述LOF值大于1的多维组合确定为离群点。 3.根据权利要求2所述的方法，其特征在于，所述确定所述结果空间集合中的为离群点 的多维组合，还包括： 按照所述LOF值对所述结果空间集合中的各多维组合进行排序。 4.根据权利要求1所述的方法，其特征在于，所述冗余数据，包括以下多种数据中的一 种或多种： 非数值型数据； 常量型数据； 方差为零的数据； 同一种作业数据中的最大值； 同一种作业数据中的最小值。 5.根据权利要求1至4中任一项所述的方法，其特征在于，在确定所述待检测的多种作 业数据中的作业数据种类数量大于第一预设阈值时，所述方法还包括： 将所述待检测的多种作业数据中每一种作业数据作为多维组合的一个维度，将各种二 维组合的二维数组放入候选空间集合中； 确定所述候选空间集合中每种二维组合的二维数组的皮尔逊相关系数P； 将所述P大于第二预设阈值的二