基于ReliefF算法的核主成分特征提取.docVIP

基于ReliefF算法的核主成分特征提取 摘要：入侵检测中特征选择和特征提取是解决特征降维的方法之一。本文采用基于ReliefF算法的核主成分方法解决特征降维问题，先采用ReliefF算法去除原始特征中与分类不相关的特征，再采用核主成分分析法进行特征提取。实验数据表明：将41个特征变量降维成9个主成分，大大减轻了后续的分类器的工作量，同时也有助于提高分类器的分类精度 关键词：特征选择 ReliefF算法 KPCA 特征提取 为了能获得理想的入侵检测效果，需要在两个方面进行努力：一是建造一个好的分类器，二是寻找对问题的一个好的表示，即选用的输入特征能为分类器提供最有用的信息。对于前者，人们尝试利用各种基于不同原理的方法来检测入侵。对于后者，一般有两种方法从原始的输入特征中获得问题更好的表达：特征选择和特征提取 1、特征选择和特征提取技术 采用模式识别方法进行入侵检测首先要解决特征降维问题。现存的特征降维主要采用特征选择和特征再构造(也就是特征提取)两种方法 特征选择是模式识别领域的重要问题。在一个学习算法通过训练样本对未知样本进行预测之前，必须决定哪些特征应该采用，哪些特征应该忽略。特征选择已广泛应用到文本分类、图像检索、入侵检测和基因分析等方面。特征提取是提升分类器性能的另一类方法。它通过对高维的输入特征进行变换从而获得新的低维特征 入侵检测系统中特征的选择和提取如图1所示。其中不相关的特征是指那些与分类过程没有关系的特征。去不相关特征本文采用ReliefF算法。特征提取本文采用核主成分分析(KPCA)方法 2、ReliefF算法及其实现 Kira等1992年提出了Relief算法。该算法仅适用于训练样本是两类的情况。Kononenko[31]扩展了Relief算法得到ReliefF算法，ReliefF则可以应用于多类样本情况。ReliefF算法在处理多类问题时，不是从所有不同类样本集合中统一选择最近邻样本，而是从每个不同类别的样本集合中选择最近邻样本，并且不是选择一个最近邻样本，而是选择k个最近邻样本 ReliefF的算法描述如下： 输入：训练实例的特征向量集合及类别标号； /* N-特征维数，m-迭代次数，k-最近邻样本个数 * / 输出：对应于特征向量各个分量的权值向量W； 1.初始化权值向量为0.W[A]: =0. 0； 2.for :i =1 to m 3.随机选择实例Ri； 4.计算k个nearest hits Hj； 5.对于每一类C≠class (Ri) 6.从类C中求得k nearest misses Mj(C)； 7.for A: =1 to N 9．结束； 需要说明的参数: diff(A,Ri,H)代表样本Ri和H关于特征A的差异，初始值定义如公式(1)： (1) 迭代计算为公式(2) (2) 其中，H与M分别代表训练集合中与实例Ri距离最近的同类(nearest hit)样本与不同类样本(nearest miss) ReliefF每次随机从训练样本集中取出一个样本Ri，然后从和Ri同类的样本集中找出样本Ri的k个近邻样本(nearest hits)，从每个Ri的不同类的样本中找出k个近邻样本(nearest misses)，然后更新每个特征的权值。以上过程重复m次 ReliefF算法的优点是：运行效率高，对数据类型没有限制，对特征间的关系不敏感(相对很多特征评估方法的特征间独立的建设)。ReliefF算法的缺点是：和很多特征评估算法，如信息增益等一样，ReliefF算法不能去除冗余特征，算法会赋予所有和类别相关性高的特征较高的权值，而不管该特征是否和其余特征冗余 3、核主成分分析算法 PCA是一种常见的、强大的特征提取方法，但它是一种线性映射算法，只能提取数据中的线性特征。核主成分分析(KPCA,Kernel principal component analysis)的提出被认为是PCA的一个非线性扩展。它是在PCA中引入核方法，首先将原始输入向量xt映射到高维特征空间并在其上用PCA方法计算。在空间上的线性PCA方法对应于在空间xt上的非线性PCA方法。由于从xt到的映射，空间的维数假定比训练样本维数大。因此，KPCA解决如下的特征值问题： (3) 其中是的样本方差矩阵，的一个非零特征值，ui是对应的特征向量 公式(3)被转换为如下特征值问题： (4) 其中核矩阵。中每个元素的值都等于向量在高维特征空间和上的内积，即 (5) 因为完全被核函数取代了，所以说映射是很有意思的。任意维而不需要精确计算这一问题通过运用核