一种大数据异常检测系统的研究与实现.pdf

第33卷第1期 海南大学学报自然科学版 V01．33No．1 OFHA州ANI嗍RSITY MaL2015 2015年3月 NATURALSCIENCEJOUI蝌AL 文章编号：1004一1729(2015)01—0024—04 一种大数据异常检测系统的研究与实现 丁 洁1，王 磊1”，沈荻帆1，周又玲1 (1．海南大学信息学院海南海口570228；2．海南省特种玻璃重点实验室，海南海口570228) 摘要：结合电信业务运营系统，针对大数据异常检测问题，提出了基于相关系数的解决方案，构建了大数 据异常检测系统，并应用该系统对业务数据进行分析检测．实验结果表明，系统具有较强的可用性和可靠性． 关键词：异常检测；相关系数；大数据分析 393 中图分类号：TP 文献标志码：A DOl：10．15886／j．cnki．hdxbzkb．2015．0005 大数据时代的到来促进了信息检索技术和数据挖掘技术的发展，异常信息的检测研究也愈发显得重 要．其中，异常信息的自动检测是大数据处理的重要研究方向之一，建立在信息源的正常行为模式，通过 比较和匹配被检测数据源的实际行为模式和正常行为模式来检测异常信息．目前，在异常信息检测研究 方面，在检测方法上，文献[1]提出了基于D．s证据理论对用户异常行为进行检测的方法，文献[2]提出了 采用马尔科夫模型来进行异常流程检测的方法，文献[3—5]提出了自相似检查异常的方法，文献[6—7] 提出了数据挖掘的相关方法，对入侵检测、防DDOs攻击等多个领域的异常行为进行了检测；在具体的系 机制来解决大数据存储的高可用问题． 在诸多的实际应用系统中，比如基于物联网的智能系统、电信运营的业务系统等，都存在大数据的检 测难题[1川．由于系统在不同时间段的数据量有差别、不同数据源产生的数据量不相同等多种与实际应用 场景密切相关的原因，一些小量的异常数据往往会淹没在大规模的正常数据中而难以被检测到．根据数 据的来源、归属和时间上的周期性等要素，可以得出正常数据的一些统计特征，并以此为参考来判断出数 据是否有异常．笔者针对大数据的异常信息检测问题，建立了基于相关系数的异常行为检测系统，并结合 实际应用系统对数据进行检测分析． 1 相关系数 相关系数(Correlationcoemcient)是由著名统计学家卡尔·皮尔逊设计的一个统计指标，用来反映变 量之间相关关系的密切程度，其针对离散型变量的一个定义式如下 ∑(戈i一戈)(y。一y) r=—_=二兰兰==二=二二二二==二===， (1) √i；(矿戈)2i；()，i—y)2 式中，戈和y分别是变量戈和y的均值，分母是变量z和y的标准差之积．根据式(1)的定义，相关系数是 收稿日期：2014一09—19 综合实力工作资金项目 作者简介：丁洁(1979一)，女，江苏无锡人，讲师，硕士 通信作者：王磊(1966一)，男，辽宁省大连人，副教授，博士，博士生导师，研究方向为嵌入式系统与智能检测、 低碳节能技术及产业化．E—mail：wandei0520@126．com 万方数据 第l期 丁洁等：一种大数据异常检测系统的研究与实现 以2个变量与各自平均值的离差之积和两者标准差之积的比值来反映2个变量之间的相关程度．式(1) 主要用来度量2个变量间的线性关系． 在本文设计的异常信息检测系统中，根据具体的应用场景，按照一定的数据属性，选取一定量的样本 数据，并计算其均值作为考察样本，归人系统的特征库中，特征库中的考察样本需根据考察对象的变化而 自动更新；通过分析数据与特征库中相应考察样本的相关程度来进行异常信息的检测． 2 系统层次架构设计 在电信运营企业，存在着大量不同业务接人渠道，包括社会代办渠道、自营厅和电子商务渠道等，每 天都会产生