模式识别第七章.docVIP

7 稀疏核机 7.1 最大边际分类器 7.1.1 重叠类分布 7.1.2 关系到逻辑回归 7.1.3 多类SVM 7.14 用于回归的SVM 7.1.5 计算学习理论 7.2 关联向量机 7.2.1 用于回归的RVM 7.2.2 稀疏性分析 7.2.3 用于分类的RVM 练习 在上章中，我们探讨了基于非线性核的各种学习算法。这些算法最大的局限之一是核函数必须在所有可能的训练点的和对上估值，它可能在训练时是计算上不可行的，并且可能导致当为新数据点做预测时耗费大量的计算时间。本章中，我们将寻找具有稀疏解的基于核的算法，使得对新输入的预测仅取决于在训练数据点的子集上估值的核函数。 首先来研究支持向量机（SVM）的一些细节，SVM用于求解分类、回归和新成分检测等问题，并在若干年前变得流行。支持向量机的一个重要性质是：模型参数的确定对应于凸优化问题，因此任何局部解也是全局解。因为支持向量机的讨论广泛地使用Langrange乘子，鼓励读者复习在Appendix E上的关键概念。支持向量机的更多信息可以在Vapnik（1995），Burges（1998），Cristianini 和Shawe-Taylor（2000），Miiller等（2001），Scholkopf和Smola（2002），以及Herbrich（2002）的著作中看到。 SVM是一个决策机，