多类分类.pdfVIP

多类分类 9.520 ：第21 课 Ryan Rifkin “一个故事 由愚人讲述，会充满着大吵大闹， 其实什么也没有。” Macbeth ， Act V ，Scene V 什么是多类分类？ 每一个训练点属于 N 个不同的类中的一个。目标是构造一个函数，对于给定的一个新的数据点， 该函数能够正确预测它所属的类别。 什么不是多类分类？ 在许多情形中，存在数据点所属的多个类别，但是一个给定的点可以属于多个类别。在这种情 形的最基本的形式中，该问题可以简单的分解为一组无联系的二元问题，从而可以通过使用我 们对于二元问题的方法，很自然的得到解决。 第一个想法 假定对于 N 个类别中的每一个，我们都知道它的密度p (x ) 。那么，我们可以通过使用 i 来预测。 当然我们不知道密度，但是我们可以使用经典的方法来估计它们。 密度的问题，以及动机 估计密度是困难的，尤其是当维数很高，数据有限时。 对于二元分类任务，我们已经看到了与密度估计相比，直接估计一个光滑分离函数能够给出更 好的结果（SVM，RLSC ）。那么我们能将这些方法有效的推广到多类的情形吗？ 一个简单的想法——一对全部的分类 选取一个好的方法用于建立二元分类器（如 RLSC ，SVM ）。建立N 个不同的二元分类器。对于 第 i 个分类器，将类别 i 中的点作为正样本，将不在类别i 中的所有其他点作为负样本。设f i 是 第 i 个分类器。使用 来分类一个新的函数。 事实 就我所知道的，选择一个适当调整好的正则化分类器（如 RLSC ，SVM ）作为你的基本二元分 类器并且使用一对全部的方法（OVA ）就已经是最好的了。 如果你实际上必须解决一个多类问题，我强烈地建议你单单使用 OVA 就可以了，不用考虑别的。 其他的方法 有两个基本的方法将正则化的思想推广到了多类分类问题： “单机”方法——尝试去解一个单最优化问题，该问题是同时训练许多二元分类器。 “错误纠正码”方法——尝试以一种让你可以研究去相关并且修正错误的方式来组合二元 分类器。 这些方法并不是完全互斥的。 Weston 和 Watkins ，Vapnik 第一个“单机器”方法： s.t.： 关键的思想，假设点 i 在类别y 中。那么，对于j ≠y ，我们希望有 （滥用了我们的符号w.r.t.b ）， i i 或者我们给一个线性惩罚ξij 。 WW 分析 I 这个想法直观上看起来是合理的。它是一个好的想法吗？ Weston 和 Watkins 做了实验。在 5 个数据库当中的 2 个数据库上，他们发现他们所使用的方法 要显著的优于 OVA，并且在其他的数据库上也有同样结果。然而，他们声称“为了能够比较， 对于每一个算法，取 C ∞ （训练数据必须在没有错误的情况下被分类）”，因此他们运用ERM 而非正则化（ C =∞⇔λ 0 ）。他们使用了一个对每一方法都有相同σ 的高斯核（这并不一 定是一个好的想法），并且没有关于该σ 如何被选取的信息。 WW 分析 Ⅱ 在什么情况下我们希望该方法会优于 OVA 方法？这不太好回答。我们需要一个实际上很难将数 据分离开的情形，但在这种情形中存在一些有意义的数据子集，在这些子集中即使我们不能够 对正确的类别赋一个正数值，我们也能够给它赋一个比其他类别都小的负数值。或者，我们需