智能学习论文翻译.docxVIP

P-N学习：受结构性限制的自举二元分类器 摘要 本文展示了通过结构化的未标记数据，二元分类器的性能可以得到显著提高。例如，通过了解一个样例的标记去限制其他样例从而使数据结构化。本文计划使用一个新奇的范例通过标记的和未标记的样本来训练一个二元分类器，这一过程就成为P-N学习。这一学习过程是在积极和消极的限制下被指导进行的，这些限制限制了未标记集合的标记过程。P-N学习评估分类器的未标记数据，识别出与结构化限制分类相抵触的样本，通过迭代过程将正确的范例增加到训练集合中去。本文提出了关于在何种情况下P-N学习可以确保初始分类器的性能提升的理论，并将其运用到综合性的真实数据中。P-N学习可以应用于解决追踪过程中目标探测的在线学习问题。本文验证了通过一个简单的范例和一个目标可能出现的未标记的视频序列就可以得到精确的目标探测。这一算法与相关的方法进行了比较，在发展现阶段已经在一系列不同种目标上得到了验证（面部，行人，汽车，摩托车和动物）。 1.简介 近年来，关于半监督式学习的研究大热，比如，在分类器训练中同时使用标记的和未标记的数据[6,24]。已被验证的是，对于某些特定问题，未标记的数据引人注目地改善了分类器。大多数普通的学习算法将未标记的范例假定为相互独立的。因此，这些算法就不能将未标记范例间的相关性加以利用，而这些相关性中潜藏着大量的信息。 在机器视觉中，数据极少是独立的，因为时空相关性，数据的标记都是相关联的。具有从属性的标记的数据被称作结构化的。例如，目标探测的任务就是标记出一个输入图像中所有可能的图像块是积极的（目标），还是消极的（背景）。在一幅输入的画面中，独特的对象仅能占据一个位置。如图2所示，在一个视频中目标的变化位置定义成一个轨道。轨道代表着视频序列中标记的结构化。靠近轨道的图像块都有着同样的积极标记，远离轨道的则是消极的标记。另一个结构化数据的例子是在一个场景中探测目标各部分或是对多级目标的识别。在这些情况中，对整个图像的标记是通过预设的或学习过的目标部分的空间构型所限制的。 本文提出了一个从结构化的未标记数据来学习的新范式。这一方式是通过所谓的积极和消极结构性限制来利用数据结构，即强制将未标记集合进行确定标记。积极限制器列举了可接受的具有积极标记的图像块，例如，靠近目标轨道的图像块就是积极的。消极限制器列举了可接受的具有消极标记的图像块，如轨道周围环境的部分就是消极的。这些限制器是并联使用的，并且可以证明，将它们组合使用可以使它们各自的误差得到相互补偿。这些限制器是作用在整个未标记集合上的，因此比起那些仅作用在单个样例上的分类器来说可以利用更多不同的信息资源。 由一小部分的标记过的样例和许多结构化的未标记样例的可用性可以得到如下的学习策略：（i）使用一个标记过的例子，训练一个初始分类器，然后用标记过的数据来调整预设过的限制器；（ii）用分类器对未标记的数据进行标记，然后识别出那些与结构化限制器相矛盾的样例标记；（iii）纠正这些矛盾标记，并将其添加进训练集合中，对分类器进行再训练。我们将这一自举过程称作P-N学习。 本文的工作在于将解决离线和在线学习问题的P-N学习计算范式形式化。本文对这一过程进行了理论分析，并且列举了在何种情况下学习过程可以确保初始分类器的改善。在实验部分，本文将使用P-N学习去在追踪过程中训练一个目标探测器。本文提出了一种简单却有效的限制对于从视频中提取的图像块的标记的限制器。本文采用的学习方法是实时处理图像序列，得到的探测器结果达到了先进水平。 本文的其余部分的内容是这样安排的：第二章回顾了利用未标记数据的多种方法；第三章展现了P-N学习的形式化过程并讨论了其收敛性；第四章中这一理论被应用于从一个视频中学习目标探测；第五章中用综合性的数据对其进行了验证；第六章将这一系统与已有的方法进行对比，并详细进行了分析；本文最后进行了总结和对未来工作的展望。 2.利用未标记的数据 在半监督式学习中，是由监督的信息指导着对未标记数据的处理[6]。这类信息通常是以一种与其中一些范例相关的标签的形式出现的。另一种设定是提供一种例如“这些未标记的点都具有一样的标记”的限制器[1]。这种形式的监督更具有一般性，且适用于去描述数据间更为复杂的关系。 期望值最大化（EM）是一类求解概率性模型参数的算法。在分类方面，这些参数可能是与标签分类相符合的。EM方法将数据可能性最大化，因此，如果在类别边界出的未标记范例如果分布较少的话，会表现较好。这通常叫做低密度分离假设[6]。EM方法成功应用于文档分类[17]和学习目标种类[18]。EM方法有时会被解释为一种自主学习的软方法[24]。 自主学习大概是半监督式学习的最古老的方法了[6]。它首先通过用一个标记过的训练集合来训练一个初始分类器而开始，然后这个分类器被用于评价未标记