大数据技术的计算机网络安全问题分析.docVIP

大数据技术的计算机网络安全问题分析 随着科学技术发展以及互联网技术广泛应用，整个互联网络环境更加多样灵活，计算机网络安全就显得尤为重要，其中最为重要的就是对计算机网络安全进行分析，只有进行准确快速的分析，才能及早对未知的网络攻击进行防御，从而减少不必要的损失。 1大数据技术的应用背景 1.1大数据技术的概念大数据技术是采用分布式系统对采用常规数据处理方法无法处理的超大数据集进行处理的技术，常用的大数据技术有Spark、Hadoop以及MapReduce。大数据技术主要的目的是挖掘这些数据集背后隐藏的信息，通过机器学习的方法以产生商业价值。 1.2大数据技术的作用大数据技术主要包括数据采集、数据存储、数据清洗、数据挖掘以及基于数据模型的构建。其中数据的采集是主要包括两方面，一方面是利用网络爬虫采集互联网上的数据，如管理信息、Web信息；另一方面是利用各种类型的传感器采集各种工业数据。数据存储是按照指定的格式对采集到的数据进行存储，如物理信息、实验信息。数据清洗是对采集到的有缺陷的数据进行筛选和处理，保证其结构的完整性。数据挖掘是利用机器学习方法挖掘数据背后隐藏的信息。数据模型的构建是利用采集到的数据建立模型进行各种预测。大数据技术有诸多应用，如利用大数据技术可以构建银行的信用卡欺诈检测模型，或构建产品推荐系统，还可以利用大数据技术进行金融风险评估或进行基因信息分析。 2网络安全分析技术 2.1计算机网络安全分析的作用网络安全分析是通过对网络的安全日志、流量、用户方位、业务行为等信息进行采集、存储和数据分析，从而发现网络中的漏洞、网络攻击、网络信息窃取等已知和未知的安全威胁，并能够对网络上的不安全因素进行风险识别和风险定位。通过网络的安全分析结果为维护网络的安全与稳定奠定基础，因此网络安全分析是保障网络安全正常运行的关键步骤。 2.2计算机网络安全分析技术的现状当前主要的网络安全分析技术为网络全流量分析技术，任何网络攻击都会留下网络痕迹，而且网络攻击产生的网络数据通常与正常流量网站产生的数据往往不同，因此通过对网络痕迹的分析进而感知网络的威胁并及时快速响应制止网络攻击，最后对网络攻击取证进行责任判定。然而随着互联网技术的发展，网络攻击形式也是多种多样，单纯依靠网络全流量分析技术已经无法满足各种大型互联网公司对网络安全的需求，因此迫切需要一种变革的智能化网络安全分析技术，自动识别各种各样的网络攻击并具有自适应防护功能。 3大数据技术在网络安全分析中的应用 网络安全分析涉及对网络信息的信息采集、存储和数据分析，而大数据技术也涉及到数据采集、数据存储、数据清洗、数据挖掘以及基于数据模型的构建。由于两者的模式特别接近，所以可以将大数据技术引入到网络安全分析中，以此提高网络安全分析的效率和准确度。本文以互联网公司为例对大数据技术在网络安全分析中的应用进行论述。 3.1基于大数据技术的网络信息采集每个互联网公司每天都会产生大量的安全日志、流量、用户方位、业务行为等信息，我们可以将每台通信设备作为一个数据节点，整个公司所有的通信设备作为一个集群，采用Flume日志收集系统、Scribe分布式日志收集系统等进行安全日志、流量、用户方位、业务行为等信息的采集。Flume日志收集系统具有流式数据方式的特点，而且具有故障转移与故障恢复的能力，因此更加安全。Scribe分布式日志收集系统可以采用分布式方式，具有较强的容错能力，因此可以更加高效地收集数据。 3.2基于大数据技术的网络信息存储传统的网络数据量较大，一般都存储在硬盘当中，虽然磁盘的容量在稳步增加，但是磁盘的读取速度却没有与时俱进。磁盘中数据量大而读取效率低，将会导致整个网络安全数据分析效率低下。由于网络安全分析必须具有快速实时性，这样网络才能进行快速响应维护网络安全，否者分析出的数据没有任何的价值。因此，利用Hadoop大数据技术中的HDFS以及YARN分布式文件系统对数据进行存储后，可以大大加快数据的读取速度，从而提高整个网络安全分析的效率，满足实时性的要求。 3.3基于大数据技术的网络信息处理分析互联网上产生的安全日志、流量、用户方位、业务行为等信息的背后隐藏着各种各样的有价值信息，网络安全分析可以通过对这些数据进行分析从而得知网络的安全状况，进而采取措施保证网络的安全。大数据技术中的MapReduce是一种用于数据处理的编程模型，可以进行大规模的数据集处理，效率非常高效。由于各个用户的访问信息是独立的，因此可以采用MapReduce网络模型框架进行编程进而进行数据分析。首先，将存储的数据利用HDFS分布式系统发送到各个网络节点，各个节点组成一个集群，然后将数据的处理过