第2章SVM理论背景与相关研究工作.PDFVIP

国防科学技术大学研究生院学位论文 第2章 SVM理论背景与相关研究工作 支持向量机是机器学习中一个新兴的研究领域，在模式识别、回归估计和信号处理等 问题中展示了优秀的性能。本文主要研究基于支持向量机的入侵检测技术，作为全文研究 的重要理论基础，本章首先介绍SVM相关的理论背景，然后介绍支持向量机技术应用在 入侵检测方面的相关研究工作，并简单介绍本文研究方案。 2.1SVM理论基础 *本节部分结论和证明推导参见文献1【5,321. 支持向量机的最早研究可以追溯到上个世纪七十年代末期。但是，近年来，支持向量 机在模式识别等领域中的广泛应用引起了研究者越来越多的注意。支持向量机的应用领域 非常广泛。首先是模式识别领域的多种应用，如数字签名识别，对象识别，语音识别，聚 夸克检测，图像识别中的人脸识别，以及文本分类等等。另外在回归估计领域，支持向量 机曾经和时间顺序预测测试平台进行了比较，应用于Boston住房供给问题，以及PET的 操作倒置问题等。同时，支持向量机在信号处理方面也得到了广泛的应用。 在绝大多数情况下，支持向量机的性能 (测试集上的错误率)都会比其他的方法有所 提高.关于支持向量机在密度估计和ANOVA分解中应用的相关资料指出，在不考虑泛化 性能的前提下，支持向量机没有任何先验知识，仍然可以做出较为准确的判断。 推动支持向量机发展的根源可能有多种说法，如标准偏差最小化，容量控制，过拟合 等，但是最根本的原因都是一样的。简单地说，就是针对一个学习任务，在有限的训练数 据的情况下，平衡训练数据集上的准确性和支持向量机的 “容量”，这种 “容量”指的是 在任何训练数据集上学习都不出错的能力，从而获得最佳的泛化性能。支持向量机的 “容 量”太大，就好像是一个植物学家具有了一个照相似的记忆，当一棵新的树出现时，他可 能认为这不是一棵树，因为新出现的树和植物学家记忆中的树的树叶在数量上可能是不同 的;支持向量机的 “容量”太小，就好像是刚才那位植物学家粗心的弟弟一样，他认为如 果是绿色的，就是树。这也不能保证较好的泛化性能。正是在准确性和泛化性 (“容量”) 要求都很高的情况下，支持向量机得到了广泛的应用和青睐。 2.1.1SVM简介 线性学习器是支持向量机和神经网络理论的重要基础。对于监督学习来说，学习器会 输入一个蒂有标记 (或者输出值)的样例 (或输入)的训练集。样例通常是以属性向量的 形式给出，因此输入空间是R”的子集。一旦给定输入向量，就可以为问题选择一定数目 的假设函数集。其中，线性函数最容易理解而且应用最简单。传统的统计学和经典神经网 络文献已经阐述了许多利用线性函数区分两类事件的方法，以及利用线性函数插值的方 法，并为有效的迭代方法及其泛化性能的理论分析等在内的技术提供了一个框架。 两类问题的分类通常用一个实值函数f:XcR-R，按照这样的方式操作:当f(x),0 万方数据 第 ii页 国防科学 技术大 学研 究生 院学位 论文 时，输入x=(xx)赋给正类，否则赋给负类。考虑当f(x)(XEX)是线性函数的情况， 函数可以写为: f(x)=w-x+b=艺w,x;+b (2.1) 土 丈 丫 丫 土 、 丫 土 丫 土 支 丫 丫 / 丈 丫 O O W J 支 丫 支 丫 图2.，二维训练集的分开超平面((w,b) 这