ai对于siem重要性的及其发展分析.docVIP

AI对于SIEM重要性的及其发展分析 导语：?SIEM是企业安全的核心中枢，负责收集汇总所有的数据，并结合威胁情报对危险进行准确的判断和预警。但传统的SIEM过度依靠人工定制安全策略，不仅仅增加了人力成本，而且整个SIEM的识别准确率和使用效果也都大打折扣。而目前附带AI功能的SIEM系统也只是把AI当成算法插件作为集成，无法在没有安全人员介入的情况下独立的智能工作。 摘要 SIEM是企业安全的核心中枢，负责收集汇总所有的数据，并结合威胁情报对危险进行准确的判断和预警。但传统的SIEM过度依靠人工定制安全策略，不仅仅增加了人力成本，而且整个SIEM的识别准确率和使用效果也都大打折扣。而目前附带AI功能的SIEM系统也只是把AI当成算法插件作为集成，无法在没有安全人员介入的情况下独立的智能工作。 本文将从传统SIEM组件构成入手，介绍AI对于下一代SIEM的适用性和重要性，并重点阐述当前主流SIEMAI平台和全新一代SIEM@AI平台的区别；随后将结合实际案例深入讨论SIEM@AI的两个核心技术原理：数据分析和数据关联；在最后的篇幅，文章会探讨SIEM@AI的发展和研究方向。 一、SIEM简史 SIEM是SecurityInformationEventManagement的缩写，又名安全信息事件管理平台，作为企业的安全大脑，它可以为企业提供安全数据的收集、整合、分析、关联、处置和展现等功能，是企业业务安全运营的核心和基础。 早在10年前，SIEM的概念就已经被提出。SIEM作为企业内部涉及安全的日志管理平台，提供日志的采集、存储、分析查询功能。经过十多年的发展，如今SIEM的产品形态已得到丰富拓展，包括支持多维数据源输入、威胁情报中心（ThreatIntelligence）、策略脚本库（Playbook）等，同时外部威胁数据的共享和获取也使得SIEM系统不断被完善。 图1：SIEM市场规模预测（来自Gartner2017年报告） SIEM在美国一直保持着较快发展，根据Gartner相关市场报告，SIEM在全球（主要是美国）最近每年都保持着10%的增长速度，预计在2020年市场规模可达200亿人民币。然而在中国，SIEM还处于比较初级的阶段，很多企业对自身安全问题并没有系统性的管理。2017年整个中国市场只有3.17亿人民币的规模，这个数字相比中国经济对全球经济的占比是不相符的。不过可喜的是，SIEM中国市场最近每年都保持着近20%的增长速度，说明越来越多的中国企业已经意识到了SIEM的重要性。 但并非所有企业都需要SIEM，处于初期发展阶段的企业数据流和业务量单一，面临的安全威胁较少，安全设备和软件的需求也相对较小，依靠独立的安全产品即可满足基本需求。当企业发展到中大型规模时，业务线增多，内外网安全环境变得复杂，同时前期使用的安全产品也达到了一定数量，这时就有必要接入SIEM来实现统一的安全运营管理。 二、解构SIEM 图2：SIEM整体架构图 SIEM平台的主要架构由5个层次组成： 采集层 系统数据入口。SIEM大多支持多种数据输入，这些数据从来源划分，包括终端用户设备、网络设备、服务器、存储设备等；从OSI模型划分，包括了数据链路层、网络层、传输层、应用层的网络流量；从系统角色划分，包括不同的业务系统、中间件系统、负载均衡系统等。这些数据或以推送的方式或以拉取的方式向SIEM平台输送，供SIEM进行后续的分析计算。 采集层使用的技术主要分为两类：“侵入式”和“无侵入式”。“侵入式”一般采用部署Agent程序，或者用户在自身代码逻辑中添加程序探针等方式采集数据；“无侵入式”一般则采用旁路镜像流量或者输入日志等方式采集数据。两种模式各有优缺点，“侵入式”有利于企业增加定制化功能，并结合SIEM平台的多维特性深入贴合业务，但弊端在于外挂式的Agent一旦不稳定，就会影响用户自身业务，甚至导致系统宕机，我自己就遇到过好几个客户向我抱怨自身的服务被厂商的嵌入SDK搞的不稳定。“无侵入式”则可以完全避免对业务系统的影响，一方面提升系统稳定性，另一方面保护系统数据安全。在技术成熟的情况下，对用户来说，“无入侵式”采集方式显然更加友好。 存储层 采集后的数据除了供给后面的计算分析外，还会进行存储。存储层有两个目的：一是对原始采集数据进行存储，二是对计算分析完成的结果进行存储。 存储可选择的技术栈一般包括数据管道（中间数据传输），热存储（存储常用数据查询、更新），冷存储（存储不常用的数据）。严格说，数据管道不算是存储，但在实际上为了防范后端数据丢失或堆积，一般也会将经过管道的数据进行临时存储，比如互联网公司最常用的Kafka队列就是将中间数据落地在磁