模式识别第四章.docVIP

4 分类的线性模型 在前面的章节中，我们研究了一类具有非常简单的解析和计算性能的回归模型，现在我们将讨论一个类似的分类模型来解决分类问题。我们知道分类的目的是：取定一个输入向量，并把它指定到K个离散类中，这里。在最常见的情况下，这些类是彼此不相交的，所以每一个输入向量被分配到一个且只一个类中。因此可以把输入空间分割成许多决策区域，它们的边界被称为决策边界或决策表面。在本章中，我们讨论分类的线性模型，这样意味着决策表面是输入向量的线性函数，因此，分类的线性模型是由D维空间中的D-1维超平面确定的。类可被线性决策表面精确分配的数据集称作线性可分的。 在回归问题中，目标变量就是实数组成的向量，而这些实数的值也是我们想要预测的。在分类问题中，有很多种利用目标值来代表类标签的方法。以概率模型为例，对于2类问题，最简单的方法是用二进制表示，这种方法是使用一个单一的目标变量，当的时候，它代表类，当时，它代表类。我们可以把的值解释为类是的概率，且概率值只取极端值0和1。对于的类，我们可以很方便地使用取中之一的编码机制进行分类，其中是一个长度为的向量，因此如果这个类是，那么中除外的所有元素都是0，值取1。例如，假设我们有=5个类，对于类中的一个模式，我们可以得出目标向量： (4.1)