大数据分析技术在安全领域的运用.docVIP

大数据分析技术在安全领域的运用 1安全大数据分析 大数据分析技术给信息安全领域带来了全新的解决方案，但是如同其它领域一样，大数据的功效并非简单地采集数据，而是需要资源的投入，系统的建设，科学的分析。Gartner在2013年的报告中指出，大数据技术作为未来信息架构发展的十大趋势之首，具有数据量大、种类繁多、速度快、价值密度低等特点。将大数据技术应用与信息安全领域可实现容量大、成本低、效率高的安全分析能力。 1.1信息安全分析引入大数据的必要性 大数据具有“4V”的特点：Volume、Variety、Velocity和Value，可实现大容量、低成本、高效率的信息安全分析能力，能够满足安全数据的处理和分析要求，将大数据应用于信息安全领域能够有效的识别各种攻击行为或安全事件，具有重大的研究意义和实用价值。随着企业规模的增大和安全设备的增加，信息安全分析的数据量呈指数级增长。数据源丰富、数据种类多、数据分析维度广；同时，数据生成的速度更快，对信息安全分析应答能力要求也相应增长。传统信息安全分析主要基于流量和日志两大类数据，并与资产、业务行为、外部情报等进行关联分析。基于流量的安全分析应用主要包括恶意代码检测、僵木蠕检测、异常流量、Web安全分析等；基于日志的安全分析应用主要包括安全审计、主机入侵检测等。将大数据分析技术引入到信息安全分析中，就是将分散的安全数据整合起来，通过高效的采集、存储、检索和分析，利用多阶段、多层面的关联分析以及异常行为分类预测模型，有效的发现APT攻击、数据泄露、DDoS攻击、骚扰诈骗、垃圾信息等，提升安全防御的主动性。而且，大数据分析涉及的数据更加全面，主要包括应用场景自身产生的数据、通过某种活动或内容“创建”出来的数据、相关背景数据及上下文关联数据等。如何高效合理的处理和分析这些数据是安全大数据技术应当研究的问题。 1.2安全大数据分析方法 安全大数据分析的核心思想是基于网络异常行为分析，通过对海量数据处理及学习建模，从海量数据中找出异常行为和相关特征；针对不同安全场景设计针对性的关联分析方法，发挥大数据存储和分析的优势，从丰富的数据源中进行深度挖掘，进而挖掘出安全问题。安全大数据分析主要包括安全数据采集、存储、检索和安全数据的智能分析。（1）安全数据采集、存储和检索：基于大数据采集、存储、检索等技术，可以从根本上提升安全数据分析的效率。采集多种类型的数据，如业务数据、流量数据、安全设备日志数据及舆情数据等。针对不同的数据采用特定的采集方式，提升采集效率。针对日志信息可采用Chukwa、Flume、Scribe等工具；针对流量数据可采用流量景象方法，并使用Storm和Spark技术对数据进行存储和分析；针对格式固定的业务数据，可使用HBase、GBase等列式存储机制，通过MapReduce和Hive等分析方法，可以实时的对数据进行检索，大大提升数据处理效率。（2）安全数据的智能分析：并行存储和NoSQL数据库提升了数据分析和查询的效率，从海量数据中精确地挖掘安全问题还需要智能化的分析工具，主要包括ETL（如预处理）、统计建模工具（如回归分析、时间序列预测、多元统计分析理论）、机器学习工具（如贝叶斯网络、逻辑回归、决策树、随机森利）、社交网络工具（如关联分析、隐马尔可夫模型、条件随机场）等。常用的大数据分析思路有先验分析方法、分类预测分析方法、概率图模型、关联分析方法等。可使用Mahout和MLlib等分析工具对数据进行挖掘分析。综上，一个完备的安全大数据分析平台应自下而上分为数据采集层、大数据存储层、数据挖掘分析层、可视化展示层。主要通过数据流、日志、业务数据、情报信息等多源异构数据进行分布式融合分析，针对不同场景搭建分析模型，最终实现信息安全的可管可控，展现整体安全态势。 2安全大数据分析的典型应用 2.1基于用户行为的不良信息治理 中国移动开展了基于大数据的不良信息治理工作，主要针对垃圾短信和骚扰诈骗电话开展基于异常行为的大数据分析。通过开源工具Hadoop、HDFS、Pig、Hive、Mahout、MLlib搭建大数据分析平台，采集用户的行为数据，构建用户行为分析模型；分别提出了异常行为分类预测模型、统计预测分析模型、社交网络分析模型等，将用户的行为数据输入到模型中，可以精准地挖掘出违规电话号码，并且发现违规号码与正常号码之间存在大量相异的行为特征。通过用户的行为，构建多维度的用户画像数据库，支撑全方位的大数据不良信息治理服务，支撑大数据不良内容的智能识别等。实践表明，大数据分析技术能够挖掘出更多潜在的违规号码，是对现有系统的有效补充。除此之外，中国移动还将大数据技术应用在安全态势感知、手机恶意软件检测和钓