高级数字图像处理：模式识别第7章.docVIP

7 稀疏核机 7.1 最大边际分类器 7.1.1 重叠类分布 7.1.2 关系到逻辑回归 7.1.3 多类SVM 7.14 用于回归的SVM 7.1.5 计算学习理论 7.2 关联向量机 7.2.1 用于回归的RVM 7.2.2 稀疏性分析 7.2.3 用于分类的RVM 练习 在上章中，我们探讨了基于非线性核的各种学习算法。这些算法最大的局限之一是核函数必须在所有可能的训练点的和对上估值，它可能在训练时是计算上不可行的，并且可能导致当为新数据点做预测时耗费大量的计算时间。本章中，我们将寻找具有稀疏解的基于核的算法，使得对新输入的预测仅取决于在训练数据点的子集上估值的核函数。 首先，我们来研究支持向量机（SVM）Langrange乘子，鼓励读者复习在附录E中的关键概念。支持向量机的更多信息可以在Vapnik（1995），Burges（1998），Cristianini 和Shawe-Taylor（2000），Miiller等（2001），Scholkopf和Smola（2002），以及Herbrich（2002）的著作中看到。 SVM是一个决策机，因此它不提供后验概率。我们在1.5.4节中已经讨论了确定概率的一些好处。另一个稀疏核方法，被称为关联向量机（RVM），它是建立在Bayesian公式上的，并提供后验概率输出，通常有比SVM更稀疏的解。