SVM发展与应用.docVIP

SVM发展与应用 　　摘 要： 本文主要介绍了支持向量机（SVM）的发展历程，SVM的基本思想，以及SVM在一些领域中的成功应用。 　　关键词： SVM 语音识别 人脸检测 图像处理 　　1.引言 　　随着网络技术的飞速发展和普及，进入了信息大爆炸的时代。信息无处不在，给我们的学习生活带来了诸多便捷，由于堪称海量的信息量，我们从中获取有用的信息变得困难，解决这一难题就是要对这些大量的信息进行分类。SVM就是一种很好的信息分类方法。SVM技术在解决小样本、非线性及高维度的模式识别问题中表现出许多优势，在许多领域，如文本分类、图像识别、生物信息学等领域中得到了成功的应用。 　　2.SVM的发展 　　SVM，是基于模式识别方法和统计学习理论的一种全新的非常有潜力的分类技术，主要用于模式识别领域。1963年，ATE-T Bell实验室研究小组在Vanpik的领导下，首次提出了支持向量机（SVM）理论方法。这种方法是从样本集中选择一组样本，对整个样本集的划分可以等同于对这组样本的划分，这组样本子集就被形象地称之为支持向量（SV）。但在当时，SVM在数学上不能明晰地表示，人们对模式识别问题的研究很不完善，因此SVM的研究没有得到进一步的发展与重视。 　　1971年，Kimeldorf提出了使用线性不等约束重新构造SV的核空间，使一部分线性不可分的问题得到了解决。 　　20世纪90年代，一个比较完善的理论体系——统计学习理论（Statistical Learning Theory，SLT）形成了，此时一些新兴的机器学习方法（如神经网络等）的研究遇到了一些重大的困难，比如欠学习与过学习问题、如何确定网络结构的问题、局部极小点问题等，这两方面的因素使得SVM迅速发展和完善，并在很多问题的解决中表现出许多特有优势，而且能够推广应用到函数拟合等其他机器学习问题中，从此迅速发展了起来，目前已经成功地在许多领域里得到了成功应用。 　　3.SVM的应用 　　SVM的主要思想可以概括为如下两点： 　　（1）它是针对线性可分的情况进行分析的。对于线性不可分的情况，通过使用非线性映射算法将低维输入空间线性不可分的样本转化为高维特征空间，使其线性可分，从而使得在高维特征空间中采用线性算法对样本的非线性特征进行线性分析成为可能。（2）它基于结构风险最小化理论，在特征空间中构建最优分类面，使得学习器能够得到全局最优化，并且使整个样本空间的期望风险以某个概率满足一定上界。 　　从上面的两点基本思想来看，SVM没有使用传统的推导过程，简化了通常的分类和回归等问题；少数的支持向量确定了SVM 的最终决策函数，计算的复杂性取决于支持向量，而不是整个样本空间，这就可以避免“维数灾难”。少数支持向量决定了最终结果，这不但可以帮助我们抓住关键样本，而且注定了该方法不但算法简单，而且具有较好的“鲁棒”性。 　　3.1人脸检测、验证和识别 　　Osuna最早将SVM应用于人脸检测，取得了较好的效果。其方法是直接训练非线性SVM分类器完成人脸与非人脸的分类。由于SVM的训练需要大量的存储空间，并且非线性SVM分类器需要较多的支持向量，速度很慢，因此，他提出了一种层次性结构的SVM分类器，它由一个线性SVM的组合和一个非线性SVM组成。检测时，由前者快速排除掉图像中绝大部分背景窗日，而后者只需对少量的候选区域做出确认。 　　3.2说话人/语音识别 　　说话人识别属于连续输入信号的分类问题，SVM是一个很好的分类器，但不适合连续输入样本。为此，引入了隐式马尔可夫模型HMM，建立了SVM和HMM的混合模型。HMM适合处理连续信号，而SVM适合分类问题；HMM的结果反映了同类样本的相似度，而SVM的输出结果则体现了异类样本间的差异。为了方便与HMM组成混合模型，需要首先将SVM的输出形式改为概率输出。 　　3.3文字/手写体识别 　　贝尔实验室对美国邮政手写数字库进行的实验中，人工识别平均错误率为2.500，专门针对该特定问题设计的5层神经网络错误率为5.100（其中利用了大量先验知识），而用3种SVM方法（采用3种核函数）得到的错误率分别为2.000、2.1%和2.200，且SVM是直接采用16X 16的字符点阵作为输入的，表明了SVM的优越性能。 　　3.4图像处理 　　3.4.1图像过滤。一般的针对互联网色情图像的过滤软件主要采用网址库的形式封锁色情网址或采用人工智能方法对接收到的中、英文信息进行分析甄别。学者们提出了一种多层次特定类型图像过滤法，即综合肤色模型检验、支持向量机分类和最近邻方法校验的多层系图像处理框架，此方法能够达到85%以上的准确率。 　　3.4.2视频字幕提取。视频字幕蕴含了丰富的语义，可用于对相应视频流进行高级语义标注。研