网络安全监控平台应用报告.docVIP

网络安全监控平台应用报告 某信息安全服务厂商专业从事网络安全技术研发和设备生产，其主营业务涉及网络安全事件的侦听预警、应急响应、溯源监管等。在该应用场景中，翰云数据库完成了针对网络包的全镜像保存，以及针对流量信息的深度挖掘，其结构化的流量信息保存在关系表中，其非结构的包内容保存在翰云BFILE中，通过提供并发高速写入的接口，由5节点组成的数据库集群能够支撑起其1Gbps的网络环境，同时在历史存量数据达到70亿条记录时，典型的条件过滤查询响应时间3秒，统计分析查询响应时间30秒。 测试要求 在FLOW AUDIT项目中，创建两个表TB_METADATA和TB_RAWDATA，分别存放网络包的元信息和原始数据，其结构定义如下图示。以10亿条记录为批次，连续插入70亿条记录。每插入10亿条记录，记下插入花费的时间，然后在数据库上分别查询一小时内和一天内的记录，记下查询花费的时间。在70亿条记录完全插入后，删除一小时和一天内的记录，记录下删除花费的时间。 测试环境 用于执行这次测试项目的数据库机器，是由10个1U大小的戴尔机架式服务器搭建而成，服务器之间通过1台千兆的思科交换机互联。待测试的目标数据规模在10T以上，我们对测试样机进行了硬件升级，节点服务器的内存从4G升级到8G，硬盘从500G升级到8T。升级后的配置如下面列表所示。 节点配置： 型号 DELL Power Edge R410 CPU Intel Xeon E5606 @ 2.13GHz (单路4核) 内存 DDR3 8G (4G * 2) 硬盘 SATA 7200转 8T (2T * 4) 操作系统 CentOS 64位 分布式文件系统 Hadoop 0.20.203 集群配置： 节点个数 10 网络交换机 思科交换机Catalyst3750 24口 1G 数据库节点编号及配置： 节点编号 Hadoop角色 /内存分配 Cloudwave角色/内存分配 cloudwave0 元数据节点/1000M 数据节点/1000M 主服务器节点/2000M 小表服务器节点/3000M cloudwave1 从元数据节点/1000M 数据节点/1000M 小表服务器节点/5000M 数据库客户端 cloudwave2 数据节点/1000M 小表服务器节点/7000M cloudwave3 数据节点/1000M 小表服务器节点/7000M cloudwave4 数据节点/1000M 小表服务器节点/7000M cloudwave5 数据节点/1000M 小表服务器节点/7000M cloudwave6 数据节点/1000M 小表服务器节点/7000M cloudwave7 数据节点/1000M 小表服务器节点/7000M cloudwave8 数据节点/1000M 小表服务器节点/7000M cloudwave9 数据节点/1000M 小表服务器节点/7000M 测试结果 【说明1】测试文案中要求在插入30亿条记录后，执行一次删除操作，然而考虑到删除数据后，数据库中保留的记录数就不再是30亿条了，所以对测试过程做了调整，只在70条记录全部插入后，才执行一次删除操作。 【说明2】我们只对插入了70条记录后的数据库查询保留了操作时间，当记录数不足70亿时，查询操作时间会更少。 数据记录插入时间：（数据插入过程参见附录A截图） 0亿 ~ 10亿 70339秒（19.53小时） 10亿 ~ 20亿 67199秒（18.66小时） 20亿 ~ 30亿 67098秒（18.63小时） 30亿 ~ 40亿 68778秒（19.10小时） 40亿 ~ 50亿 71654秒（19.90小时） 50亿 ~ 60亿 未保留 60亿 ~ 70亿 72494秒（20.13小时） 数据记录查询时间：（在插入70亿条记录后执行）（查询SQL和结果分见附录B和C） SQL1: 指定源IP的流在1小时内过滤到的包 1.579秒（86,393条记录） SQL2: 指定源IP的流在1天内过滤到的包 27.464秒（3,292,469条记录） SQL3: 按包个数、源IP排序1小时内过滤到的源IP流 4.589秒（256条记录） SQL4: 按包个数、源IP排序1天内过滤到的源IP流 25.894秒（256条记录） SQL5：1小时内过滤到的源IP形如192.168.*.*的包 2.033秒（1,992,419条记录） SQL6：1天内过滤到的源IP形如192.168.*.*的包 9.073秒（52,691,288条记录） 数据记录删除时间：（在插入70亿条记录后执行）（删除SQL参见附录B） SQL7: 删除1小时内过滤到的包 SQL8: