基于网络流量元数据的安全大数据分析.docx

基于网络流量元数据的安全大数据分析

作者：袁宝乔亚男

来源：《中国新通信》2017年第16期

前言：大数据时代，信息安全问题尤其重要。2016年9月，本应该是大学生开学的日子，但是由于一起电信诈骗事件，导致许多大学生的学费和生活费被骗取，甚至部分学生付出了生命的代价，也使得信息安全受到了社会各界的广泛关注。

一、元数据概述

元数据，是对其他数据进行描述的数据，基于网络流量的元数据能够对资源进行识别和评价，并且对其在使用过程中的动态变化进行追踪，有助于维护大数据的稳定和安全，实现对于大数据的有效管理。从实际应用的角度分析，元数据表现出了几个比较显著的特点，一是可以实现大数据共享。元数据的开发和利用要求分布式环境以发挥其本身的价值，换言之，单一的元数据不可能满足用户的共同需求，必须构建相应的数据共享平台；二是元数据本身属于编码体系。元数据能够对数字信息化的资源进行描述，在对网络信息进行编码的过程中，元数据可以为数字化信息资源构建起一种能够被计算机理解的框架[1]。

二、网络流量分离平台构建

基于网络交换路由设备的特性，如ACL、PBR等，设计构建了多条性能较高的网络流量分流平台，平台能够满足我国校园10G网络流量在分析研究方面的需求，也可以为海量元数据的分析提供稳定的流量支持。网络流量分离平台可以实现一到多、多到一以及多到多的流量复制，从而满足不同应用业务系统对于流量的需求。在进行流量复制的过程中，结合ACL技术，可以实现简单协议以及各种五元组级别的流量过滤，降低业务系统所承受的负载。同时，平台也能够实现单一或者复数高负载10G链路流量到更多低负载10G链路流量的转换，结合多路负载均衡的方式，提升对于信息数据的处理能力，而配合交换机堆叠技术，可以实现对于端口数的迅速扩展，也可以提升10G链路的处理能力。

三、安全大数据分析平台构建

在大数据分析中，应该立足不同的分析对象和分析目标，应用不同的分析平台。基于网络流量获得的元数据应该定期导入Hadoop平台上进行存储，然后结合HIVE进行初次的数据挖掘，在降低数据量的同时，也可以确保数据的安全性。依照不同的存储内容，可以选择MySQL、PostgreSQL等关系数据库进行分类存储。利用RDBMS，能够有效满足常规数据的查询需求，而利用Hadoop则可以满足大量元数据开发查询的需求。事实上，在实际应用中，上述两种形式有着各自的有点，虽然无法相互取得，但是可以实现相互补充。在针对数据进行处理的过程中，应该对LinuxShdll命令和Python脚本进行灵活使用，尽可能保证网络流量元数据运行的高效性和安全性。

从保证大数据安全分析的角度，选择24台物理机节点构建Hadoop大数据分析平台，在平台中的每一个节点配置64G内存，CPU选择XeonE5-2670，240G固态硬盘两块以及2T机械硬盘12块，以万兆以太网实现节点之间的互通互联，总HDFS容量为333TB。在软件选择中，采用了ClouderaStandard4.8.0版本进行部署，组件则选择CDH4.5.0+IMPALA1.2.1+SOLR1.1.0。在实际应用中，结合HIVE的类SQL语句，实行按对于简单MapReduce的快速统计[2]。

在统计分析前期，可以将大数据分为若干小数据，确保其安全性，具体来讲，需要构建起基于IP的黑白名单，结合名单进行网络流量的调整，去除其中的冗杂数据，在降低数据分析工作量的同时，也能够提升大数据分析的质量和效率。在大数据分析环节，如果发现突发性安全漏洞，可能会导致元数据的丢失，给个人或者企业带来损失。对此，可以利用HIVE对HTTP访问元数据中URL字段进行查询，结合SHELL脚步分析，找出漏洞产生的原因，并对其进行处理[3]。

四、结语

基于网络流量元数据的安全大数据分析是信息时代背景下一个非常关键的课题，如何对大数据分析平台进行合理利用，提升数据分析的效率和质量，是相关技术人员需要关注的重点，对于保障数据安全意义重大。而如何利用大数据平台来实现漏洞自动检测以及不同类型数据的关联性分析，依然需要更加深入的研究。