基于Web访问日志的异常行为检测.PDFVIP

前沿技术 基于Web访问日志的异常行为检测 安全技术部 姚伟 关键词: 异常行为Web 日志特征匹配统计分析 摘要：本文介绍了在海量Web 访问日志中，使用特征字符匹配、访问频率统计分析、 机器自学习等方法去挖掘攻击行为，提高安全威胁的检测能力。 一、前言 的方式检测攻击，如果碰到未公开的漏洞被 是直接导入Web 服务器的访问日志，另一 黑客利用、厂商未及时发布升级包或者管理 种是从Web 应用防火墙的访问日志接口导 着互联网的快速发展，在经济利益 随的趋势下，发生了越来越多的网络安 员未及时更新程序等几种情况，都会导致设 入，导入的是经过Web 应用防火墙清洗后 备无法检测和防范攻击。 的HTTP 数据。 全事件，使得互联网安全正在面临前所未有 为了解决传统安全设备的不足，经过安 2. 日志入库 的挑战。攻击者也从单一的攻击行为，发展 成有组织、有目标、持续时间长的攻击，新 全技术的积累，考虑通过Web 访问日志分 采集到的Web 访问日志将根据字段进 名词A PT 攻击也越来越多的被人们熟悉。 析的手段，对Web 用户的行为进行异常监控， 行切割，保存到数据库中等待分析。 发现可疑行为，从而进一步追查原因，及时 3. 数据分析 攻击者为了获得某个组织甚至国家的重要信 息，会利用多种攻击手段，甚至很多攻击利 采取措施应对问题。 主要通过前面介绍的几种分析方法，编 用的漏洞还未公开，在攻击过程中也会使用 二、日志分析流程 写算法和规则，进行海量数据分析，然后报 各种技巧，长期潜伏在系统中，不断收集各 告可疑行为。 种信息，最终达到目的。 4. 结果展现 对于重要机构和企业而言，虽然已经部 将分析的可疑行为，以图表、地图定位 署了大量针对某类威胁的安全防护设备，但 1. 日志采集 等可视化的方式展现给安全管理员。 很多安全设备还是主要依赖于提取漏洞特征 Web 访问日志有两种采集方式，一种 三、访问日志结构 48 前沿技术 访问日志是Web 服务器( 例如Apache、IIS）记录用户访问行 为产生的文件，标准的Web 日志是纯文本格式，每行一条记录，对 应客户端浏览器对服务器资源的一次访问。典型的日志包括来源地址、 访问日期、访问时间、访问URL 等丰富的信息，对日志数据进行分析， 不仅可以检测到可疑的漏洞攻击行为，还可以提取特定时间段、特定 combined 比common 格式多两个字段referer 和user-agent， IP 对应用的访问行为。 也可以自定义格式，各字段含义如下： 由于不同Web 服务器的日志格式不同，以Apache 访问日志为 表1 A pache 日志配置字段含义 字段 描述 例，介绍日志组成字段及字段的意义。 %h 客户端地址