安全加固审计大数据的自动巡检方案.pdfVIP

安全加固审计大数据的自动巡检方案 —— POSTED BY ADMIN ON SEP 1, 2012 IN FLOWS35 | 0 COMMENTS 安全审计大数据时代的来临 大数据（Big data ）通常用来形容一个公司创造的大量非结构化和半结构化数据，这些 数据在下载到关系型数据库用于分析时会花费过多时间和金钱，而从各种各样类型的数 据中，快速获得有价值信息的能力，就是大数据技术。 大数据的 4 个“V”，或者说特点有四个层面：第一，数据体量巨大，从 GB 级别，跃 升到 TB 级别；第二，数据类型繁多；第三，价值密度低；第四，产生速度极快。业界 将其归纳为 4 个“V”——Volume ，Variety ，Value ，Velocity ，如何以快速的方法 从海量数据中获取到价值，是应对大数据的最大的挑战。 安全审计规范化工作，也符合 4 个“V”的特征： Volume ：随着安全规章制度、审计条目数量、跨行业信息系统安全规范的日渐庞大， 以及频繁的重要事件安全保障工作，安全加固审计的数据量也呈现出爆炸性增长趋势； Variety ：种类繁多的设备、数据库及应用程序，跨系统、跨平台的安全加固配置条目， 运维人员需要处理大量不同数据来源及格式的安全数据； Value ：面对大量的数据来源，形态各异配置文件、配置条目，如何快速定位到与信息 安全加固工作相关的内容，是一项极具挑战的工作； Velocity ：由于互联网的不断深入及开放，以及重要事件安全保障工作的接踵而至、审 1 计规则的不断细化增加，安全威胁的来源类型正处于爆炸性增长的阶段，因此，安全加 固数据也呈现出极快的增长趋势。 面对海量的安全审计规范及安全检查条目，传统的依赖关系性数据库的数据管理解决方 案由于需要预先进行 ETL （转义入库，详见名词说明）定义，已经无法满足安全审计大 数据的发展需求；而 silo （信息孤岛，详见名词说明）模式管理方法更是效率低下，各 部门人员流水线作业，效率远低于审计规则及新安全漏洞的增长速度。实时大数据集分 析需要像 MapReduce （Google 提出的一种软件框架，详见名词说明）一样的框架来 进行快速的索引分析。 面对大数据，我们需要 Splunk 快速兼容各种数据来源 安全加固的范围包括操作系统、应用系统、数据库系统、网络 设备等多种来源类型，为了保障信息系统对企业业务的有效支撑，应该通过安全加固工 作消除潜在的安全风险。然而面对多种类型的操作系统、数量庞大的应用以及形态各异 的数据库系统，如果对所有条目逐一进行 ETL ，将会是mission imposible。 Splunk 采用了内部通用索引技术，使得用户在需要快速部署新的数据类型时可以直接 从原始数据中分解和识别字段，而不需要预先进行 ETL 定义，可以快速兼容各种数据 源而且可以随着安全加固需求的变化快速调整。 灵活方便的部署方法 传统数据管理解决方案的数据采集依赖于 Agent ，但受限于操作 系统、应用程序的多样化，大部分 Agent 需要预先定义好需要获取的、有限的数据类 型，即可以被 ETL 的数据来源，进而完成后续的结构化入库工作；同时，随着数据类 2 型及条目的增加，定时运行特定脚本获取数据的 Agent 所消耗的系统资源也会不断增 加，导致安全审计工作反而造成网络和系统的突发负载，产生巨大的额外压力。 Splunk 的 Universal forwarder 可以支持几乎所有常见的操作系统（包括 Windows、 linux 甚至 OS400 等封闭式平台），支持脚本、syslog、WMI 等各种数据采集方法保 证可以灵活获取任何类型的安全审计条目（包括保存在数据表内部的安全配置），而流 量负载均衡、传输速率控制的配置可以有效减轻安全审计工作为网络带来的额外负载压 力，本身所具