多示例学习和多标记学习的研究.PDFVIP

多示例学习与多标记学习的研究 张敏灵 周志华 1、研究背景 “机器学习”是研究怎样通过计算机模拟或实现人类学习活动的科学，是人 工智能的核心研究领域之一。自上世纪八十年代起，经过二十多年的蓬勃发展， 机器学习已成为计算机科学技术中最受关注的研究领域之一。在机器学习中，监 督学习(supervised learning)是研究得最多、应用最广泛的一种学习框架。 在该学习框架下，每个真实世界的对象由一个包含若干属性的示例进行描 述。与此同时，该示例对应于一个概念标记以表达其语义信息。学习系统通过对 训练集中具有概念标记的训练例进行学习，以尽可能正确地预测未见对象的概念 标记。在传统监督学习框架下，真实世界的对象与其描述及概念标记之间都是一 [1] 一对应的关系。一般认为，这样的学习问题是没有歧义性(ambiguity)的 。 然而，歧义性对象在真实世界中却是广泛存在的。例如，对于图 1(a)所示的 图像对象，从内容上看该对象包含了多种自然景物的描述信息，从概念上看该对 象同时具有山、树木和湖泊等多个概念标记。再如，对于图 1(b)所示的网页对象， 从内容上看该对象包含了多个段落的描述信息，从概念上看该对象同时具有交 (a) (b) 图 1. 歧义性对象 (a) 自然场景图像 (b)新闻网页 通、经济甚至文化等多个概念标记。因此，这些真实世界的对象无论从内容描述 还是概念标记上都出现了歧义性。显然，基于传统的监督学习框架将很难用一个 示例来完整地进行对象描述，且对象所对应的概念标记也不再是唯一的了。 这里，我们主要考察两种处理歧义性对象的学习框架：多示例学习 (multi-instance learning)[2] 以及多标记学习(multi-label learning)[3] 。多示例学习从输 入空间，即内容表示上来考察对象的歧义性；而多标记学习则是从输出空间，也 就是概念标记上来考察对象的歧义性。本文接下来首先将从问题起源、研究现状 以及我们的研究成果分别对这两种学习框架进行介绍。 此外，通过对歧义性学习问题的深入研究，我们还提出了多示例多标记学习 (multi-instance multi-label learning)[4,5]这一新型机器学习框架。多示例多标记学从 输入空间和输出空间两个方面同时考察对象的歧义性，相比于多示例学习或者多 标记学习，可以更加自然且有效地处理歧义性对象。最后，本文将对进一步的研 究工作进行展望。 2、多示例学习 2.1 问题起源 [2] 上世纪 90 年代中期，Dietterich 等人 对药物活性预测问题进行了研究。该 问题的输入对象是一个分子，其输出是该分子与某个目标“绑定区域”耦合的紧 密程度。对适于制造药物的分子来说，它的某个低能形状和期望的绑定区域将耦 合得很紧密；而对不适于制造药物的分子来说，它和期望的绑定区域将耦合得不 好。学习系统通过对已知适于或不适于制药的分子进行分析，以尽可能正确地预 测某种新的分子是否适合制造这种药物。 图2. 分子的形状随着“内部键”的转动而变化[2] 该问题的困难之处在于，每一个分子有很多种可能的低能形状，只要该分子 在其中一种形状下与期望的绑定区域紧密耦合，该分子就适于制造药物，如图 2 所示。生物化学专家只知道哪些分子适于制药，并不知道具体的哪一种形状起到 了决定性作用，这就使得预测新的适于制药的分子成为一个非常困难的问题。 一种直观解决上述问题的方法是将正包中所有的示例看作正例，将反包中所 有的示例看作反例，从而利用传统的监督学习方法求解。然而，Dietterich 等人[2] 的实验结果表明，由于正包中大量存在的伪正例(false positive instances)而引入的 噪音，上述方法很难有效地解决多示例学习问题。为此，他们将每个分子作为一 个包，将分子的不同低能形状作为包中的示例，从而提出了多示例学习的概念。 在多示例学习中，每个训练包由多个示例组成，示例没有概念标记，但每个 训练