广电网络安全日志大数据分析的探索与实践.pdfVIP

广电网络安全日志大数据分析的探索与实践

作者：朱益中

来源：《中国传媒科技》2019年第06期

摘要：为解决日益复杂的网络攻击，通过对广电网络和设备日志的分析，结合云端提供

的威胁情报，能够有效发现网络中存在的APT（AdvancedPersistentThreat）攻击行为，快速

发现网络中受控主机，及时产生告警，实现对海量数据进行多维度快速、自动化的关联分析发

现威胁和对异常行为的态势感知，为快速分析、定性、处置提供可视化辅助手段和证据留存。

关键词：网络安全；日志；大数据；APT攻击

中图分类号：TP393文献标识码：A

文章编号：1671-0134（2019）06-115-03DOI：10.19483/j.cnki.11-4653/n.2019.06.035

引言

目前，广电网络的监播监测，传统DVB方面已比较到位，新媒体方面也日趋完善。但随

着网络应用规模和复杂度的不断提高，网络中传输的数据量急剧上升，网络攻防对抗日趋激

烈，企业内部新的安全问题开始显现，复杂的网络环境让安全工作无从下手，攻击者即便是大

摇大摆地出入企业的敏感数据区域也无人知晓，投入了大量资金建设的安全防御体系可能成为

摆设；传统安全技术对APT（高级持续性威胁）无能为力，无论是在安全威胁的检测、发现还

是响应、溯源等方面都存在严重不足。要解决这些新的安全问题，企业亟须使用新的技术手段

来掌控全局的安全态势，从而优化安全运营过程，将企业网络的安全风险控制在合理的区间。

《中华人民共和国网络安全法》出台后，对日志留存提出了强制要求，如何监督各地做好网络

安全日制留存和收集，并对这些日志开展统一的分析，是企业在新的安全形势下提升安全能力

的新契机。

我们的网络和系统在运行的每一个状况信息都使用文字的方式记录下来，称之为日志，可

以理解为这是普通人在虚拟世界的行为的记录和投影。日志的类型很多，包括系统日志、应用

日志、操作行为日志和数据库日志等，每条日志都记载着时间戳、相关设备名称、使用者及操

作行为等相关的描述，将这些日志统一收集起来进行分析，一是可以监控全网日常运行状态，

分析问题、追查错误根源、纠正错误；二是能够快速分析整个应用针对最终用户的服务质量；

三是分析出安全风险和入侵攻击，及时干预，解除威胁。

网络安全日志大数据分析系统是基于大量网络和系统日志，专用于安全风险和入侵攻击分

析的系统，系统主要由数据采集、关联分析、态势感知和可视化呈现四个模块组成：（1）数

据采集模块将来自全网几千台设备的日志进行规则化处理，这几千台设备可能是数十个厂商的

产品，类型有防火墙、堡垒机、入侵检测等十几种，即使是同一厂商的防火墙，由于生产年代

不同，日志格式也可能迥异，要识别这些设备的日志格式，将有效信息入库存储是整个大数据

分析系统的基础；（2）关联分析引擎是这个系统的发动机，大数据就如同一座亟待开发的金

矿，仅仅存储起来是没有价值的，优秀的分析引擎使用先进的搜索技术，可以迅速感知到异常

行为和黑客入侵；（3）态势感知模块是基于威胁情报的辅助手段，将互联网上已知的犯罪手

段和特征输入到系统中，让关联分析引擎拥有灵敏的嗅觉；（4）可视化模块要呈现的信息，

绝不是简单的IP地址和非专业人士看不懂的告警信息，要能够呈现入侵的源和路径，并将关

联的资产、部门、人员名称都显示出来。

最终我们的目标是希望这个基于威胁情报和日志的系统，能够对安全大数据进行快速、自

动化数据分析，全方位监测、发现威胁和异常、快速处置与响应，并针对安全事件进行深入调

查。系统通过可视化分析技术将企业总体安全态势进行整体呈现，使安全管理人员和运维人员

能够实时掌握安全态势状况，主动发现安全威胁并及时处理，保障业务的顺畅运行。

网络安全日志大数据分析系统的雏形研发完成后，我们选取了一家在全国广电网络公司中

技术实力领先的企业--浙江华数共同开展探索和实践。在实践过程中，通过对各地广电网络公

司播出、传输等环节和系统的广泛调研，以及和系统研发人员的深入交流，我们提升了以下三

个方面的能力，并解决了一个广电特色的日志采集难题。

.“全方位、立體化1”保证数据分析的全面性

在实践中我们发现，网络的物理出入口并不是攻击者进入到网络的唯一途径，因此，单纯

依靠安全设备串行防护以及安全设备日志统计是不足以发现高级风险，从这一点上来说，我们

把PC、智能终端、企业员工、应用软件、企业对外开放的网络服务的全终端采集；从汇聚层

交换、核心层交换以及接入层交换