纠错输出编码相关论文综述和要点.docVIP

纠错输出编码相关论文综述和要点 纠错输出编码相关论文综述和要点 纠错输出编码（ECOC）综述和基本原理目录 .......................................................................................................................1 《SolvingMulticlassLearningProblemsviaError-CorrectingOutputCodes》.......................2 ASubspacetoECOC..................................................................................................................3 中文参考文献...........................................................................................................................5 在纠错输出编码中，主要的分类任务通过由基学习器实现的一组子任务来定义。其思想是：将一个类从其他类区分开来的原始任务可能是一个困难的问题。作为替代，我们定义一组简单的分类问题，每个专注于原始任务的一个方面，并通过组合这些简单的分类器来得到最终的分类器。 这时，基分类器是输出为-1/+1的二元分类器，并且有一个K*L的编码矩阵W，其K行是关于L个基学习器dj类的二元编码。例如，M(2,)[1111]表示若一个样本属于第2类(C2)，则该样本应在h1和h4上取负值，在h2和h3上取正值；M(,3)[111]T可理解为第三个基分类器h3的任务是将属于C1类的样本与属于C2和C3类的样本区分开。同时M(,3)也决定了如何构造基分类器h3的训练样本集T3：所有标记为C2类及C3类的样本形成正样本3，而标记为C1类的实例构成负样本3，对h3的训练应使得xiT3，当xi3时，h3(xi)1；当xi3时，h3(xi)1。 这样，编码矩阵使得我们可以用二分类问题定义多分类问题，并且这是一种适用于任意可以实现二分基学习器的学习算法的方法，例如，线性或多层感知器，决策树或初始定义的两类问题的SVM。 典型的每类一个判别式的情况对应于对角矩阵，其中L=K，例如，对于K=4，我们有 W=【】 这里的问题是：如果某一个基学习器存在错误，就会有误分类，因为类的码 纠错输出编码相关论文综述和要点 字之间非常相似，因而纠错码采用的方法是使LK来增加码字之间的汉明距离。一种可能的方法是类逐对分开，其中对i 其中的0表示无关，这就是说，训练d1来将C1与C2分开并且在训练中不使用属于其他类的实例。类似地，一个实例属于C2如果有d1=-1,并且d4=d5=+1,并且我们不考虑d2,d3,d6的值。这种方法的问题是对于比较大的K，逐对分开是不可行的。 方法是预先设定L值，然后寻找w使得以汉明距离衡量的行间距以及列间距离都尽可能的大。对K类问题而言，存在2k-1-1中可能列，即两类问题。这是因为K位可以写成2K种不同的形式和补（比如，“0101”和“1010”，从我们的角度来看，二者定义相同的判别式），将所有可能组合除以2减1，因为全为0（或1）的列是无用的。例如K=4时，我们有 11M1111111111111111111111 当K很大时，对于一个给定的L值，我们从2k-1-1列中选取L列，我们希望W的这些列尽可能的不相同，以便每个基学习器所学习的子任务尽可能互不相同。同时，我们希望W的行业尽可能的不相同，使得在一个活多个基学习器失效时，可以获得最大的纠错。ECOC可以用投票方式来表述，其中W的元素wij可以看作投票权值： yiwijdj j1L 然后我们选取具有最高yi的类。通过求加权和并选择最大值（判别类别）取代寻求一个精确的匹配使得dj也不必是二元的，二是可取-1到+1之间的任意值，以软确定性取代硬判决。注意位于0到1之间的pj值（例如后验概率）可以很简单地被转换为-1到+1之间的dj值：Dj=2pj-1 。 ECOC的一个问题是：由于编码矩阵W被设置为先验，因此不能保证由W的列所定义的子任务一定是简单。Dietterich的研究表明二分树可能