关于Web资源聚类分析的异常行为检测.pdfVIP

1 基于 Web 资源聚类分析的异常行为检测 谢逸，余顺争 中山大学电子与通信工程系，广东 广州(510275) E-mail （xieyicn@163.com ） 摘 要： 本文针对大型活动网站的入侵检测，提出一种基于隐半马尔可夫模型(HSMM)的 Web 资源聚类方法，与传统的基于 Web 页面内容的聚类不同，该方法仅需要用户的 HTTP 请求序列，而不需要网站和页面的相关信息；利用该模型，我们得到用户对各个 Web 资源 子集的访问特征，我们进一步引入逻辑行为来描述这种用户访问特征，并通过分析用户的逻 辑行为实现异常访问行为的检测。文章详细介绍了模型建立的理论依据和方法，推导出模型 参数的估计算法，及一种快速的模型参数实时更新算法。并指出了如何把该模型应用于实际 的网络环境。最后使用 World Cup 1998 实际采集的数据验证了模型的有效性。结果表明该 方法不但可以很好地实现用户行为分类，而且可以有效识别出异常的用户行为，从而起到入 侵检测的作用。 关键词：聚类，用户行为，异常检测，隐半马尔可夫模型 中图分类号：TP3 1. 引 言 随着 Internet 的普及，网络上共享的计算机资源成为主要的攻击目标，网络入侵数量的 增加及其所带来的严重危害,使计算机安全成为人们关注的焦点。入侵检测系统(Intrusion Detection System, IDS)是用于检测正在发生的攻击和试图进行攻击的计算机系统。异常入侵 检测(Anomaly Intrusion Detection )是目前使用的主要手段之一。它是根据用户行为与活动轮 廓存在的偏离程度来判断是否发生入侵，常用的方法有神经网络、模式预测、机器学习、统 计分析等[1]。 与一般的入侵检测系统所关注的对象不同，本文主要研究大型活动网站(例如：体育比 赛、重大商务/政治活动、大型文艺表演等)对分布式拒绝服务（Distributed Denial-of-Service， DDoS ）攻击的检测。大型活动网站具有与一般网站不同的特点： 第一，访问时间集中。由 于活动网站的信息内容受活动时间表的影响很大，这导致它的访问量集中在某些特定的时间 段，而其余时间的访问量则很低；第二，访问内容集中。在特定时段内(例如某一场比赛) ， 与该时段中进行的活动有关的页面会被高频率访问，而其它页面的访问量则较低；第三，访 问峰值持续时间短。通常情况下，各种现场活动的持续时间一般都在2-3 小时内，因此网站 的访问峰值区不会持续很长时间。因此，总的来说，大型活动网站具有峰值时段业务量非常 巨大、突发性强的特点。这些特点与 DDoS 的的洪水式（flooding ）攻击类似，因此使用一 1本课题得到高等学校博士学科点专项科研基金(项目编号：20040558043)资助. - 1 - 般的异常检测方法[2]难以有效区分突发性强的、业务量大的正常流和异常攻击流，从而导 致高误检率和高漏检率。而目前用于防御 DDoS 攻击的主要思路是基于分组的检测和过滤 [3]。这种方法首先检测出攻击流或攻击分组，然后对这些分组实行过滤，它最大的缺陷是 很容易把正常的分组误判为 DDoS 攻击分组，从而造成正常数据的丢失。 与现有的 DDoS 检测不同，本文从应用层出发，首先根据用户的 HTTP 请求对服务器上 的Web 资源(页面及各种可被用户请求的对象)进行聚类，于是用户的一系列 HTTP 请求就变 成是对不同 Web 资源子集的请求，我们进一步引入逻辑访问行为来表述用户在不同 Web 资 源子集上的跳转关系，由于逻辑访问行为在一定程度上反映了用户的真实行为，因此可以根 据用户逻辑访问行为的统计特征来进行异常检测。为此，本文将采用隐半马尔可夫模型 (Hidden semi-Markov Model, HSM