海量网络数据处理平台安全问题探究.docVIP

海量网络数据处理平台安全问题探究 　　摘要：针对海量网络数据的安全问题，该文?用模糊K-均值算法和朴素贝叶斯分类构建的联合分类算法，以及基于Mahout技术实现分类算法在MapReduce框架上的并行计算，对于原始的网络流量数据进行特征指标提取，建立相应的模型并进行训练，然后使用联合分类器的综合判定算法进行异常流量的判定，从而达到全面的对网络异常流量进行检测，提高海量网络数据处理平台的安全性的目的 关键词：Hadoop；大数据；网络流量；数据存储；异构 中图分类号：TP393 文献标识码：A 文章编号：1009-3044（2017）05-0007-02 Abstract： For the security problem of massive network data， this paper uses the fuzzy K- algorithm and Naive Bayesian classification to build a joint classification algorithm， and Mahout technology to achieve classification algorithm on the MapReduce framework of parallel computing， the original network traffic data for feature extraction， the establishment of the corresponding model and training， and then use the joint classifier to determine the abnormal traffic， so as to achieve a comprehensive network anomaly traffic detection， improve the security of massive network data processing platform. Key words： Hadoop； big data； network traffic； network security； parallel computing 1 概述 安全??题是制约云计算技术发展和普及的一个重要问题。虽然研究人员已经开展了许多针对云安全问题的研究工作，但在引入了移动互联网的海量网络数据处理业务后，现有的基于Hadoop的云计算平台仍需要加强对数据流的安全检测 传统的入侵检测技术在云计算平台中具有很大的局限性，由于虚拟化技术和分布式计算技术的应用，传统的基于网络的入侵检测技术无法对虚拟主机进行有效检测，而基于主机的入侵检测技术也无法检测出黑客的网络攻击。同时，传统的入侵检测技术在检测?{速海量的网络数据流时，其检测效率往往不够理想和准确。同时，当前越来越多的网络攻击行为使用了将信息隐藏在网络报文中，许多木马病毒都需要通过流量检测才能识别 基于Hadoop的海量网络数据处理平台处在网络环境中，它需要实时接收采集到的海量数据流，同时在平台的应用层，它需要为各类数据用户提供大并发量的数据访问接口。该平台的网络安全具有对异常流量进行快速检测和检测高准确率的要求，而传统的网络安全技术，例如数据加密和安全认证等，已无法解决该海量网络数据处理平台的安全问题。因此，针对海量网络数据处理平台的架构，除了配置传统的网络安全设备，包括防火墙、网络、入侵检测等设备外，还需要对海量数据流检测技术应用于海量网络数据处理平台进行研究，主要包括提高检测准确率和处理速度两个方面进行考虑，开展相关的研究工作 2 云计算安全问题分析 2.1针对云计算的网络攻击技术研究 云计算?用基于网络的服务模式，并根据用户需求向用户提供其所需的各类软硬件资源和数据信息[1]。代表产品有Amazon的EC2、IBM的BlueCkmd、谷歌的App Engine等[2]。基于Hadoop的海量网络数据处理平台也存在网络接口用于平台管理和数据流的接收存储，这与现有的大多数云服务类似，均需要在互联网中为用户提供服务。同时近年来，针对网络中云计算集群的攻击[3]也在急剧增加。目前针对云计算的攻击主要包括非法访问、云平台漏洞攻击、滥用权限攻击、云计算环境基于主机或基于网络的攻击、进程劫持等几种情况 2.2云计算环境的异常流量检测技术分析 针对云计算的安全问题，研究人员已经进行了很多研究工作，许多云安全技术已经被有效地应用到各种云计算应用场景，包括云网络防火墙、入侵检测系统的设计与部署。然而，传统的入侵检测技术初始设计主要针对物理网络的防御，而且一般只是对单一的网络