大数据安全分析.pdfVIP

大数据安全分析 作者：谭林 ，新炬网络技术专家。 大数据安全，顾名思义，用大数据技术解决安全问题。核心——解决安全问题，手段—— 大数据技术。 我们从核心出发，安全问题抽象来说就是攻击与防御，接下来明确防御对象是什么？攻击 目的是什么？攻击手段是怎样的?攻击者的特征?一句话——搞清楚谁为了什么目的通过什 么手段攻击了谁。 比如说防御对象有企业内部安全，有对外发布产品安全，同时防御对象又决定了不同的攻 击目的与攻击手段，有企业入侵，有对产品本身的攻击 (比如说软件破解，游戏外挂，订单 欺诈)，有对产品用户的攻击(比如利用支付漏洞窃取用户财产)，同样发起攻击的攻击者们 特征又是迥异的，有无特定目的批量散弹攻击，有靠接单挣钱的赏金黑客，有外挂作坊等 等。 在明确了的问题后，接下来就是确定解决问题的方法，传统方法的缺陷是什么?大数据技术 解决问题的优势又是什么?比如说WAF 系统中，传统的检测机制——基于签名库 (黑名单)， 缺陷是对未知漏洞 (0day) 不可感知。解决方案——基于异常 (白名单)，如何鉴定异常—— 机器学习 (学习正常的行为模式)，如何对大量数据鉴定异常——大数据技术支撑下的机器 学习。 在这一过程，我们需要具备领域知识 (安全知识)，数据科学知识(数据分析知识，机器学 习，文本分析，可视化)，大数据知识(数据收集，数据存储，数据传输，数据分布式计 算)，编程知识。 本文以企业入侵检测日志分析为场景来讨论大数据安全。 一、安全领域 1 大数据安全分析最容易走偏的就是过度强调数据计算平台(大数据)，算法(机器学习)，而 失去了本心，忽略了我们使用这一技术的目的，以入侵检测为例，我们希望日志分析达到 以下目的： 如何感知威胁，我们可以先对攻击者进行画像，攻击手段进行建模。 1. 攻击者画像 这里是非常粗略的分类，实际上我们可以用关系图(社交网挖掘)的方式将攻击者关联起 来，对取证抓坏人也是有效果的。 2. 攻击手段建模 相信喜欢撸 paper、ppt 的人对Attack Models、 Attack Trees、 Kill Chain 这三个术语 特别熟悉，特别是看过 2013 年后的各大安全会议文档后，其实说的都是攻击行为建模。 (1) 渗透模型 2 (2)普通攻击模型 3 (3)攻击模型 (升级版) 4 注意以上攻击手段只是高度精炼的攻击环节，实际的攻击检测中，我们需要尽可能精确的 还原入侵场景 (包括对应的正常场景是怎样的)，从入侵场景中提炼关键环节，从而检测出 异常的攻击行为。 5 在熟悉了杀生链 (kill chain)后，接下来要做的就是在构成链的每个环节进行狙击，注意 越往后成本越高。而每个阶段的操作必然会雁过留痕，这些痕迹，就是我们进行数据分析 的数据源，知道对什么数据进行分析是最最重要的(数据量要恰到好处，要多到足够支撑数 据分析与取证，要少到筛选掉噪音数据)。 二、数据科学 在明确了我们要解决的问题，接下来我们来普及一下数据分析的基本流程： 从上图可以看出，传统的数据分析在模型选择上都仅仅用了 0——规则，1——统计分析， 设置基线，依靠阈值的方法。 数据分析与领域知识是紧密耦合的，千万不要误入套用算法的误区，要进行基于行为建模 (攻击行为，正常行为)的数据分析，可以从单点分析(单条数据的深度分析，例如分析单条 HTTP 请求是否是攻击请求)，简单的关联分析(例如分析一个 session 下，多条 HTTP 请求 的关联关系，是否为扫描器行为，是否有尝试绕过WAF 的操作，是否符合攻击链的关键步 骤)，复杂的关联分析(例如 Web 日志，数据库日志，操作系统日志的联动分析，例如SQL 注入写马攻击中 HTTP 请求对应的数据库操作，主机操作)来逐步深入分析，当攻击场景很 复杂的时候，我们可以考虑从结果出发的方式来回溯，这些技巧都取决于领域知识。 下面列举一些传统的关联技巧： 1.规则关联