基于大数据平台的攻方式检测.pptVIP

基于大数据分析的网络攻击检测 目录 CONTENTS 常见的网站攻击方式 当今攻击方式的特点 基于大数据平台的攻击检测方法 相对于传统检测方法的优势之处 当今攻击方式的特点 1、目标明确 当今受到攻击最多的是高校、企业、科研机构、政府机构。 2、隐蔽性强、潜伏期长 NSA的shotgaint计划，入侵华为7年才被发现 美国针对伊朗核项目的震网（Stuxnet）病毒，使整个伊核进程拖延两年 丰收行动、摩柯草事件、曼灵花行动、MOONSOON事件 3、灵活多变 目前被曝光的知名APT事件中，社交攻击、0day漏洞利用、 物理摆渡等方式层出不穷 4、“三年不开张，开张吃三年” 其他5.6% 数据来源：2016年中国高级持续性威胁APT研究报告 APT的攻击的实施过程： 侦查准备阶段 1.基于大数据分析的隐私挖掘 2.基于社会工程学的信息收集 代码传入阶段 1.直接传入（鱼叉式钓鱼攻击）2.间接传入（通过在目标用户常访问的第三方网站中植入恶意代码） 初次入侵阶段 攻击者利用0day或其他漏洞实施入侵，执行恶意代码使感染机建立起CC连接，下载运行后续恶意代码 保持访问阶段 窃取用户的合法访问证书与感染机建立C-S关系，在目标网络中植入更多模块。 扩展行动阶段 根据收集到合法用户的行为来欺骗安全监测，搜集网络的拓补结构和重要情报。 攻击收益阶段 窃取内部敏感资料，传输到一个内部服务器并压缩，为隐藏传输过程，采用SSL和TSL等安全传输协议。 APT的攻击的实施过程： 传统攻击检测方式的面临困境 1.数据和业务更加集中、网络和应用边界模糊，基于单一边界的传统安全设备逐渐难以应对 2.传统安全监测方式面对越来越多的日志文件、数据包等海量数据力不从心。 3.传统攻击检测方式数据来源单一、大规模数据关联能效低无法满足新常态下情报挖掘分析需求。 需要解决的问题 1.解决内部数据源与外部数据源大规模数据的采集、预处理和采集问题 2.解决流式数据的实时分析、大规模历史数据的离线分析 3.解决日志、网络流量、日志情报、用户行为等多源异构数据快速复杂关联分析与检索问题 大数据平台天生的优势 1.批量数据处理技术 数据存储 HDFS、Hbase、Hive等 数据存储 提取数据、批量处理 图 1 批量数据处理示意图 流式数据 流数据处理 提取数据 批量处理 图2 流处理数据示意图 交互式信息查询技术： Hbase、Hive、MangoDB等NoSQL类型数据库 1.强调人作为安全分析的主题与需求主体 2.历史数据PB级数据量秒级检索 典型的交互式系统有Apache Spark和Google Dremel，Spark的内存计算机制使其天生具有对数据 的快速交互式查询处理能力 图计算处理技术： 很多大数据都是以大规模的图或者网络的形式呈现，许多非图数据往往要转化成图结构之后再做处理 常用的图计算产品有Google Pregel，CMU GraphLab, Spark Graphx 什么是图计算 基于大数据的网络安全分析的整体架构 数据采集层 结构化数据 半结构化数据 非结构化数据 日志 SNMP 用户 行为 DNS 流量 身份认证 Web Service 数据 存储层 Hadoop HDFS NoSQL 关系型 数据库 sqoop 数据分析层 关联规则 MapReduce 机器学习 流式计算 聚类分析 图计算 特征提取 查询引擎 数据展示层 安全分析 可视化引擎 检索 安全预警 系统安全监测分析框架 原始数据获取 海量网络 流量信息 海量程序 特征 海量社交网络结构与内容属性 网络流量异常监测 恶意代码异常监测 社交网络安全事件挖掘 大量网络 入侵事件 大量恶意代码 大量用户行为安全事件 安全事件关联分析 提取攻击的特征、 类型和强度等信息 原始数据获取 宽应用域数据关联分析 宽事件域数据关联分析 研究现状： 网络流量异常检测技术现状 以网络流数据为输入、通过统计分析、数据挖掘、机器学习等方法，发现异常的网络数据分组 与异常网络交互信息 数据属性提取方法 异常检测算法 优点 缺点 直接以网络流量数据分组头的各维数值作为数据属性的检测方法 基于无监督学习的异常监测 基于监督学习的异常监测 基于半监督学习的异常监测 可以自动提取异常模式 算法的检测准确性较优 在准确性与标记成本之间有较好的折中 算法的检测准确性较低 需要大量标记样本 对非均匀非平衡的数据样本检测结果较差 以网络流量特征作为数据属性的检测方法 基于单链路流量的异常监测 基于全网络流量的异常监测 监测效率较高 充分利用流量的时间相关性和空间相关性 无法检测分布式攻击 检测效率较低 各类网络流量检测方法的优缺点 恶意代码检测技术现状 1.静态特征提取法