网络安全基础数据预处理技术的分析与实现-analysis and implementation of network security basic data preprocessing technology.docxVIP

国防科学技术大学研究生院硕士学位论文 第 i 页 摘 要 随着互联网的快速发展和广泛应用，网络蠕虫病毒、DDoS 攻击等网络危害也 越来越严重，网络安全问题逐渐成为 Internet 及各项网络服务和应用进一步发展所 需解决的关键问题。网络入侵和攻击行为正朝着分布化、规模化、复杂化、间接 化等趋势发展，也势必对安全产品技术提出更高的要求。 网络安全态势感知就是实现对大规模网络安全监控的一种新技术，将能够反 映网络状态的各种数据收集并抽象出来，提炼高层次信息对大规模网络态势进行 分析评估及预测。由于网络数据来源广泛，数据海量，传统的网络安全数据采集 和预处理技术不能胜任大规模网络数据分析平台。本文将重点研究网络安全基础 数据预处理技术，并将其应用于网络态势感知中网络安全数据的采集、存储及统 计分析使用，使网络管理员能清楚地了解当前网络安全状况，预测网络???势，协 助其分配网络资源，为制定决策和防御措施提供依据。 本文介绍了网络安全态势研究的基本情况，涵盖了网络安全态势感知系统的 提出背景、研究现状等内容，并设计了一种用于网络安全数据采集的前端 Agent 体系结构，然后在该体系结构的基础上研究了流量数据、脆弱性数据、服务数据 这三类网络安全基础数据的采集方法并给出了其实现过程。最后针对网络安全基 础数据查询的特点，提出了一种 RD-Tree 的树形结构用来实现多维数据的查询优 化，为态势感知系统的态势评估和预测提供了一个良好的数据来源和分析平台。 本文的主要工作概述如下： 1、前端多 Agent 体系结构的设计，集成现有的网络安全工具对网络的安全性 进行实时监测，这些网络安全工具可以作为系统的 plugin 动态进行扩展。 2、网络安全基础数据采集方法的研究，网络安全基础数据在本论文中是指： 流量数据、漏洞数据、服务数据这三大网络数据。 3、多源异构数据的归并和预处理，讨论数据清理使用的方法、数据转换的方 法和数据归并的方法。 4、多维数据的查询优化，实际上是为了满足大规模网络态势感知中的查询操 作能及时响应的要求而作的一个预计算的过程。 主题词：态势感知 多源异构 前端探针 预处理 基础数据 多维数据  ABSTRACT With the rapid development and wide application of Internet, the threat and losses of network crisis such as worm virus, DDoS attack are increasingly expanded, which make the network security becoming the key for the next development of Internet and other application of network services. Now the network intrusion and attack behavior trend toward distributed, large-scale, complicated and indirectly. It puts forward higher requirement for the technology of security product. Network security situational requirement for the technology of security product. Network security situational awareness is a new technology for large-scale network security monitor. It extracts various data which can reflect the network status, and uses these advanced data to evaluate and forecast the large-scale network situation. The traditional network security data collection system can not be a data analysis platform because of the multiple data sources and large data quantity. This article will focus on the pre-processing technology of the basic data of network security, which