安全运维大数据一体化解决方案.ppt

* 监控本地文件或目录的变化，增量同步 监听某些端口 TCP/UDP 的数据，实时采集 对接关系型数据库 监控其它源，如 HDFS，HBase ，Kafka，Flume等 数据采集后可通过 Kafka 来缓存确保数据可用 * Mac伪装、IP分散慢速试探、3次聚合 规则没法识别 * * 用户手机号、账户号、和身份证号码进行关联 * * 机器学习：大数据管理平台可建立特定的网络威胁分析模型，定时的对网络中的APT攻击进行检测分析，如僵尸网络、低速扫描、恶意URL分析等 机器学习 分布式机器学习算法 Spark集群 标准化事件 建模器 异常检测 异常访问 历史学习 实时异常检测 关联 安全事件 历史数据 实时数据 系统其它日志 正常访问模型 基线分析：企业内用户的行为模式，只要所属部门和角色不变，就不会发生太大变化。服务器或者其他资源也类似。通过算法把变化幅度量化，数值超过基准过高的就是异常事件，而安全事件必然是从异常事件开始。 基线分析 如：三个分析维度：邮件、HTTP访问量、登录。每一个维度包括总量（柱宽度、维度值分布百分比），右边是均值的对比。红色代表异常。所以第一个图表示此用户邮件发给 wangjing@163.com 的数量（宽度）远大于当天同部门平均值。右边代表其登录失败比例远大于同部门平均值。 图分析 列出单一某个时间段系统／用户（2/1日8:00-9:00）的行为图 下一步的问题： 2/1日8:00-9:00和平时8:00-9:00行为有何差异？ 和其他用户2/1日8:00-9:00的差异？ 和整个一年的8:00和9:00行为有何差异？ 安全场景（低速扫描） 威胁名称：低速扫描 数据输入：防火墙日志 检测对象：重要服务器长周期通信模型 分析过程： 用户自定义需要分析的服务器和周期； 利用多变量时间序列聚类算法，把源IP按目的端口和目的IP的通讯行为聚合成多类，过滤无异常的类； 一张图上可视化每类的每天变化情况，用户可精确定位到具体IP、目的端口、时间； 实际效果： 作为用户每天基本运维的内容； 每个月发现约1～2起低速扫描事件； 安全场景（撞库攻击） 威胁名称：撞库攻击 数据输入：网银应用系统访问日志 检测对象：网银近400个敏感 URL，涵盖注册、登录、密码重置等 分析过程： 用户自定义需要分析的URL； 对这些URL建立ARIMA模型； 每天入库信息与模型比对； 与模型不匹配则产生预警信息； 用户根据预警进一步确认； 实际效果： 作为用户每天基本运维的内容； 目前预警频次约2~3次/周； 已帮用户发现及溯源超过20次的风险； 安全场景（账号异常） 挑战： 随着移动办公和BYOD的普及，企业越来越难从正常的行为找出被盗用的账号行为。 HanSight解决方法 HanSight Enterprise自动建立特定用户的画像，包括他的合法行为白名单和行为基线 用户行为分析引擎侦测用户的异常行为，例如从可疑位置登录，或是访问和平时完全不同的数据或数据量，或是把数据上传至公司外部的可疑地址 系统可以提供该用户最近的所有行为给安全管理员进行进一步的详细调查 安全场景（关联 URL 访问统计和基线） 安全场景（奇异值及请求来源分析） 安全场景（访问时间线分析） 运维分析 4 监控大数据 监控分为系统级、应用级、业务逻辑 系统级： 硬件和网络状况 应用级： 应用软件的健康情况 业务逻辑：业务功能和时间延迟 系统级监控 采集端采集 SNMP数据 系统日志 流量数据 主动探测 现有IT监控系统如： zabbix, nagios 系统级监控展示（设备状态） 系统级监控展示（网络状态） 分析告警 单数据源简单规则，通过对每次最新的监控数据进行阈值比较 上下限阈值比较 数据存活性比较 单数据源组合规则，对简单规则的结果进行进一步的处理，来减少告警量 多次告警，当触发的事件在一段时间内超过一定的次数时 告警冷却，当同一告警多次出现时，进行相应的冷处理。 变化告警，当监控数据与前一时间点差别很大时，进行告警。 多数据源组合规则，对多个数据源进行计算后获得： 基线告警，当数据与基线数据差别较大时，进行相应的告警 组合运算，可以计算比例超过／低于阈值后告警 基线计算规则 基线算法以周为单位，寻找前三周相同时间点为采样数据，计算当前时间点的基线。具体算法为： 以当前计算时间点为基准，分别向前倒退7天（一周），14天（二周），21天（三周），可以得到三个时间节点:?A1,?A2,?A3； 以每一个新时间节点（A1-A3）为基准，分别倒退36小时（A-36h），推前12小时（A+12h），这样将得到一个48小时的区间（B0-B39） 在这48小时时间区间内，再以每一个小