基于大数据的网络安全信息可视化系统研究背景.DOC

基于大数据的网络安全信息可视化系统 V1.0 技术研究报告 北京邮电大学 目录 第一章 基于大数据的网络安全信息可视化系统研究背景 1 1.1 基于大数据的网络安全信息可视化系统研究背景及意义 1 1.2 基于大数据的网络安全信息可视化技术现状 3 1.2.1基于网络数据流量的网络安全可视化 3 1.2.2基于端口信息的网络安全可视化 3 1.2.3基于入侵检测技术的网络安全可视化 4 1.2.4基于防火墙事件的网络安全可视化 4 1.2.5其它 5 1.3 本章小结 5 第二章 基于大数据的网络安全信息可视化系统概述 6 2.1 基于大数据的网络安全信息可视化的基本形式 6 2.2 常用的八种数据可视化方法 7 2.3 本章小结 12 第三章 基于大数据的网络安全信息可视化系统关键技术 13 3.1用户接口与体验 13 3.2图像闭塞性的降低 14 3.3 端口映射算法 18 3.4 网络安全态势的评估与入侵分析 19 3.5 本章小结 21 第一章 基于大数据的网络安全信息可视化系统研究背景 1.1 基于大数据的网络安全信息可视化系统研究背景及意义 随着网络的普及，互联网上的各种应用得到了飞速发展，而诸多应用对网络安全提出了更高的要求，网络入侵给全球经济造成的损失也在逐年增长。然而目前网络安全分析人员只能依靠一些网络安全产品来分析大量的日志数据，从而分析和处理异常。但随着网络数据量的急剧增大，攻击类型和复杂度的提升，这种传统的分析方式已经不再有效。如何帮助网络安全分析人员通过繁杂高维数据信息快速分析网络状况已经成为网络安全领域一个十分重要且迫切的问题。网络安全可视化技术就是在这种情况下产生的。它将海量高维数据以图形图像的方式表现出来，通过在人与数据之间实现图像通信，使人们能观察到网络安全数据中隐含的模式，能快速发现规律并发现潜在的安全威胁。 网络安全可视化的必要性 一个安全系统至少应该满足用户系统的保密性、完整性及可用性要求。但是随着网络连接的迅速扩展，越来越多的系统遭受到入侵攻击的威胁。而网络安全产品是人们目前主要依赖的防入侵工具。网络分析人员在使用网络安全产品时，通常通过监视和分析相应的网络日志信息，找出可疑的事件做进一步诊断，最后对确定的异常和攻击做出回应。但是网络分析人员分析如下问题时，通常会遇到如下困难：1）认知负担过重。以入侵检测系统为例，部署与乔治亚州技术学院的IDS传感器平均每天要产生50000个报警，通过传统分析日志信息的方式分析人员在一天有限的时间内很难对这些报警逐一做出详尽的分析和判断。2）交互性不够。当发现可疑事件时，现有的分析方式不能够提供相关数据过滤、事件细节显示等功能以帮助分析人员做出进一步有效的判断。3）缺乏对网络全局信息的认识。分析人员看到的往往都是单一的数据记录，缺乏对网络整体信息的了解，这使得他们很难识别出一些复杂的、协作式的和周期漫长的网络异常事件。4）不能提前防御、预测攻击。通过日志分析的方式很难发现一些新的攻击模式，也很难对攻击的趋势做出预测或者提前进行防范。 因此，面对网络安全所面临的种种问题，必须寻求新的方法帮助安全分析人员更快速有效地识别网络中的攻击和异常事件。一个实用的方法是，将网络数据以图形图像的方式表现出来，利用人们的视觉功能处理这些大量的数据信息，即将可视化技术引入到网络安全领域。可视化（也称数据可视化）是一种计算和处理的方法，他将抽象的符号表示成具体的几何关系，使研究者能亲眼看见他们所模拟和计算的结果，使用户以图形图像的方式重新分析数据。将可视化技术引入到网络安全领域是对现有网络安全研究分析方法的重大变革：1）可视化技术能使人们更容易感知网络数据信息，且每次感知更多信息；2）可以快速识别数据模式和数据差异、发现数据的异常值或错误；3）识别聚类，便于对网络入侵事件进行分类；4）能从中发现新的攻击模式，做到提前防御，对攻击趋势做出预测，等。 网络安全可视化的概念及研究步骤 数据可视化（Data Visualization）包括科学计算可视化（Scientific Visualization）和信息可视化（Information Visualization）。其中科学计算可视化是指运用计算机图形学和图像处理技术，将科学计算、工程计算及测量工程产生的数据转化为图形或图像，在屏幕上显示出来并进行交互处理的理论、方法和技术。而信息可视化是用可交互的视觉表达方式来表现抽象的、非物理的数据来增强对数据本质的认识。信息可视化涉及到人类认知学、人机交互、计算机图形学、图像技术、数据挖掘、模式识别等多学科的理论和方法，是一个新兴的研究领域。信息可视化不仅用图像来显示多维的非空间数据，使用户加深对数据含义的理解。而且用形象直观的图像来指引检索过程,加快检索速度。信息可视化目标是