支持向量机指南.doc

Source: data mining and knowledge discovery, 1998, 2(2): 121~167 支持向量机指南 1. 绪论 本文是介绍关于在SVMs背后基本思想的广泛指南。著作(Vapnik, 1995; Vapnik, 1998)里面很好的描述了支持向量机，但是仍然留下了需要说明从哪里开始学习的空间。虽然可以说本学科开始于70年代，但是只到现在才引起人们的注意，所以是时候该给出一个合适的介绍性的综述了。本指南集中详细介绍（dwells entirely on）模式识别问题。其中一些思想直接转到衰减估计（regression estimation）和线性算子转置，但是空间约束限制了这些话题的展开。 本指南中包括一些新的材料。所有的证明都是我自己的版本，为了使这些材料更容易被人们接受，这里强调他们既是清晰的，也是独立的（self-contained）。这样做的代价是失去高雅和一般性：一旦思路清晰了，通常就很容易带有一般性。详细的证明见附录。 处于想让读者注意相关文献的动机，我们总结一下一些近来关于SVMs的应用和延伸。在模式识别领域，SVMs被应用于孤立的手写体的识别（Cortes andVapnik, 1995; Sch¨olkopf, Burges and Vapnik, 1995; Sch¨olkopf, Burges and Vapnik, 1996;Burges and Sch¨olkopf, 1997)，目标识别（Blanz et al., 1996），语音辨认，人脸识别等。 在衰减估计领域， SVMs被用于和基准时间序列语言测试，波士顿住房问题，对于PET算子转置问题等。 在多数情况下，SVM的推广性能可以和竞争方法相匹配甚至更好。人们还研究了应用SVMs进行密度估计和ANOVA分解。关于SVMs的延伸，基本的SVMs不包含对问题的先验知识（例如用SVMs进行人脸识别，随机打散象素的顺序，并不影响识别的结果，而神经网络就面对这样的情况就会瘫痪）。一些还研究了如何在SVMs中引入先验知识。虽然SVMs具有很好的推广性能，但是他们在检测阶段可能速度会特别慢，(Burges, 1996; Osuna andGirosi, 1998).中强调了这一点。近来的工作研究了SVMs一般基本思想，它和相关理论的联系以及SVM思想如何是与很多其他算法合为一体的。读者还可能会发现(Sch¨olkopf, 1997)中的理论非常有帮助。 对最初SVMs发展的驱动发生在guises-the bias variance tradeoff、学习能力控制，过学习等——但是基本思想是相同的。粗略的说，对于一个给定的，只有有限训练数据的学习任务，如果在对来自特殊训练数据的精度和机器的学习能力——机器无误差地学习任何训练数据的能力——之间达到很好的平衡，就可以达到最好的推广性能。学习能力过大的机器就像一个有图像记