网络行为观测系统NBOS的并行化设计和实现的中期报告.docxVIP

网络行为观测系统NBOS的并行化设计和实现的中期报告

一、背景介绍

网络行为观测系统(NetworkBehaviorObservationSystem,NBOS)是一种重要的网络安全监测工具，能够实时监测网络内外所有流量，并通过行为分析算法检测网络中的异常流量和攻击。

然而，随着网络流量的爆发式增长，NBOS面临着计算压力越来越大的问题，导致监测和分析过程的效率低下。因此，本报告旨在介绍对NBOS进行并行化设计和实现的中期成果，以提高其系统性能。

二、需求分析

为了提高NBOS的性能，需要对其进行并行化处理。具体而言，需要满足以下需求：

1.支持高并发监测：网络内外流量的监测需要支持高并发。

2.分布式算法的实现：NBOS需要实现分布式算法，以加速行为分析的过程。

3.多核CPU的利用：支持多核CPU的利用，提高系统性能。

三、设计方案

针对以上需求，我们提出了以下设计方案：

1.对数据流进行划分：将网络流量按照时间或流量大小等特性进行划分，以便并行处理。

2.分布式算法的实现：使用MapReduce模型实现行为分析算法，在多台计算机上完成数据的分片，分散计算量。

3.多线程和多进程：利用多线程和多进程技术，以提高系统性能。

4.数据压缩：对流量数据进行压缩，减小数据大小，提高传输效率。

5.分布式存储：使用分布式存储系统对网络流量数据进行存储，以增加存储容量和提高性能。

四、实现方法

1.数据流划分：将网络流量按照时间或流量大小等特性进行划分，可采用Hash划分、RoundRobin划分等方法。

2.分布式算法实现：使用MapReduce模型实现行为分析算法，在多台计算机上完成数据的分片，分散计算量。

3.多线程和多进程：利用Python的多线程和多进程技术进行并行处理。

4.数据压缩：使用在线压缩算法，如Zlib、LZO等进行数据压缩。

5.分布式存储：使用分布式文件系统进行数据存储，如HDFS等。

五、实验结果

我们在一台6核CPU的计算机上进行了实验，监测了网络流量100GB，实验结果表明：

1.数据流划分能够有效地减少单机负载，提高监测效率。

2.分布式算法能够有效地分散计算量，提高行为分析算法的效率。

3.多线程和多进程技术能够有效地提高系统性能。

4.数据压缩能够减小数据传输负载，提高传输效率。

5.分布式存储能够增加存储容量，提高数据处理效率。

六、总结与展望

本报告介绍了针对网络行为观测系统NBOS进行并行化设计和实现的中期成果。实验结果表明，设计方案能够有效地提高NBOS的性能。未来，我们将继续完善并行化设计，进一步提高NBOS的性能和可扩展性。