基于聚类的HMM算法及其在NIDS中的应用.pdfVIP

1 基于聚类的 HMM 算法及其在 NIDS 中的应用 李红卫，颜小珂，邓飞其 华南理工大学自动化科学与工程学院 摘要：本文提出根据正常－异常序列模式异常来定义紧急级别的新概念，将隐马尔可夫模型引入到网络入 侵检测系统中检测正常－异常序列中的模式异常。并针对直接对检测数据进行 HMM 训练和检测，存在计算 量很大的问题，提出了采用先聚类降低状态维数，然后采用HMM的方法进行NIDS检测的方法。实验证明其 有效性。 关键词：聚类算法，隐马尔可夫模型，网络入侵检测系统 HMM Algorithm Base on Clustering and Application in NIDS Li Hongwei, Yan Xiaoke, Deng Feiqi (Automation Science and Engineering College, South China University of Technology, Guangzhou 510640) Abstract ：In this paper, new conception of emergent level is defined by abnormal pattern in normal-abnormal serials. Hidden Markov Model is induced to detect abnormal pattern. Because computation is large when training and detecting on datum directly, clustering is induced to decrease the dimensions firstly and then HMM algorithm is used to detect the abnormal model. Results show that it is effective. Key words：Clustering，Hidden Markov Model，Network Intrusion Detection System 1 引言 在网络入侵检测系统（Network Intrusion Detection System, NIDS ）中，“正常和异常出 现序列”一般体现了入侵的紧急程度，而“正常和异常出现序列”少见往往意味着更危险的 入侵的这一情况。采用何种方法来检测这种情况？基于此，本文提出了紧急级别的新概念， 并引入隐马尔可夫模型（Hidden Markov Model, HMM）对此进行检测。但是，如果直接对检 测数据进行 HMM 训练和检测的话，计算量很大，所以本文提出采用先聚类降低状态维数，然 后采用 HMM方法进行 NIDS 中的入侵检测，并建立基于聚类的 HMM 算法。 2 HMM 理论及求解算法 定义 1 设{X n :n ≥1}是取值于有限状态{1,L ,L }的随机变量列，称为状态链，X n 的 分布称为其初始分布，记为µ .假定X n 是时齐的 Markov 链，记： a P( X j | X i), A (a ) . （1） ij n+1 n ij i , j≤L 为它的转移矩阵，假定X n 的取值，初始分布µ与转移矩阵A 都不能测量得到。而能测量到 的是另一个与它有联系的，且可以观测到的一个取值与有限集{ν ,ν ,L ,ν } 的随机变量序 1 2 M 列Y ，称为观测链，它们合起来还满足如下的 HMM 条件（HMM 条件）： n P (Y