基于构造重要空间的主动学习支持向量机..docVIP

基于构造重要空间的主动学习支持向量机 Edoardo Pasolli, 学生会员， Farid Melgani, 高级会员, IEEE, Yakoub Bazi, 高级会员 摘要：在遥感图像分类研究中，主动学习是一种极为有效的方法，可以提高遥感图像分类的效率。这篇论文主要介绍了一种基于主动学习策略开发的支持向量机（SVM）分类方法。本方法主要基于以下几个思想：1）将原始的分类问题代入到一个新的领域，通过合适的支持向量机理论为指导，根据实验需要来区分重要样本和不重要样本；2）通过构建相应的重要空间来适当性的优化样本选择策略，从而有助于更好地处理原来的分类问题。通过在多光谱图像上的实验结果表明，在在收敛速度，稳定性和稀疏性等方面，新的算法都显示出了较高的优势。 关键词：主动学习，高光谱图像，支持向量机（SVM），高分辨率图像（VHR）。 第一章 综述 为了获得一个有效的监督分类系统，我们有必要去适当地解决一些重要的问题。其中一个重要问题就是，分类器的选择问题。值得一提的是，基于支持向量机的研究方法在不同的研究领域显示出了巨大的潜力[1]–[3]。虽然基于SVM的分类系统在研究中展现出了巨大的潜力，但作为传统的分类方法，用来构成训练集训练分类器的已标注样本的数量和质量仍严重影响着分类器的性能。事实上，训练样本的构成必须符合数据的概率分布，从而具有代表性。然而，获取训练样本是极困难的，它不仅受人工标注难以避免的各种错误影响，还需耗费大量的时间和金钱代价。基于以上原因，我们有必要去找到一种算法，既可以尽可能少的选择训练样本，又可以通过这些样本来正确的区分出未标注数据的标准类别。 在过去的几年里，研究学者在如何让分类系统实现自动构建训练样本集上表现出了越来越大的兴趣。在机器学习领域，最近针对该问题所提出的的一个新的理论就是主动学习算法。先选取少量的并符合要求的已标注样本构成训练集，训练出初始的分类器，再通过一定的选择算法从大量未标注的样本中选择出最具信息量的样本交由专家人工标注。将专家标注的样本添加入训练集，从而再次训练优化分类器。整个过程循环往复，迭代进行，直到训练前满足了一定的分类精度或者分类数量，系统才会停止优化。 在文献中，主动学习的方法已被成功地应用不同应用领域。然而，遥感图像分类研究中，主动学习方法还被研究的很少。在参考文献[4]中，被埋物体检测的应用中采用基于Fisher信息矩阵的方法来构造训练集。在参考文献[5]中，当标记和未标记的数据之间都存在光谱 特征显著变化时，作者提出了一种基于最大似然分类的概率学习模型或分类器调整算法上。 在参考文献[6]中，作者在文献[4]中所提方法的基础上进行了扩展，从而提高了被埋物体检测的性能。该方法将基于相互信息量衡量主动学习方法用于基于图的半监督算法。在参考文献[7]中，作者讨论了一个最先进的基于SVM分类器的主动学习方法，边缘采样算法（MS）[8]。此外，两个新方法被提出和应用到超高分辨率（VHR）图像的分类问题中，在这这篇论文中，作为一种替代方法，作者提出了基于主动学习的支持向量机的遥感图像分类。 第二章 方法提出 首先，让我们专注于一个通用的二进制分类问题。至于扩展到多类的问题，将会在本节最后进行阐述。让我们先考虑一个最初由n个已标记样本组成的集合和另外一个由m个未标记样本组成的学习样本集合，并且有。为了能够不断地从学习集中选择一系列的样本在人工标注后添加到训练集L中，主动学习算法的任务就是在选择添加样本的过程中尽可能得使分类过程的准确率实现最大化，同时也要尽可能的使样本数量最小化（例如：参与人工标注的专家数量）。 在本论文中，改进的主动学习算法是以支持向量机为基础而提出的。其算法的主要框架图如图1所示。 图1、主动学习算法框架图 第一个步骤是所谓的显著性分析，即检测初始训练集L中的信息最显著样本，这个操作是通过训练集L来训练支持向量机分类器（框图中名为SVM1的分类器）完成的。我们定义分类器所选择的支持向量（SVS）为显著样本，而其余样本被简单地定义为不重要样本。我们构建了一组新的集合Lb，使得原始训练样本集合L被重新赋予了显著性的概念。因此，Lb是一个可以区分为两类的集合，它包含了L中的显著样本和非显著样本。因此，第二步的任务是建立一个模型，可以将显著性样本从非显著样本中区分开来。为了这个目的，用新的训练集Lb训练另一个SVM分类器（在程序框图中名为SVM2）。由这第二个分类器所定义的模型可用于分类未标记的学习样本集合U。我们将从集合U中被分类出来的显著性样本定义为US。最后一步是从集合US中随机选择Ns样本，其中，Ns是被添加到训练集L中的样本。最后，随机选择的Us’样本由专家人工标注后添加到训练集L中去。如果模型的训