多示例学习(周志华).docVIP

多示例学习(周志华) 多示例学习* 周志华 南京大学 软件新技术国家重点实验室, 江苏 南京 210093 摘 要: 在多示例学习中，训练样本是由多个示例组成的包，包是有概念标记的，但示例本身却没有概念标记。如果一个包中至少包含一个正例，则该包是一个正包，否则即为反包。学习的目的是预测新包的类别。由于多示例学习具有独特的性质，目前被认为是一种新的学习框架。本文对该领域的研究进展进行了综述，并对有待深入研究的一些问题进行了讨论。 1 引言 20世纪90年代以来，从例子中学习（learning from examples）被认为是最有希望的机器学习途径[1]。如果以训练样本的歧义性（ambiguity）作为划分标准，则目前该领域的研究大致建立在三种学习框架（learning framework）[2] 下，即监督学习、非监督学习和强化学习。 监督学习通过对具有概念标记（concept label）的训练例进行学习，以尽可能正确地对训练集之外的示例的概念标记进行预测。这里所有的训练样本都是有标记的，因此其歧义性最低。非监督学习通过对没有概念标记的训练例进行学习，以发现数据中隐藏的结构。这里所有的训练样本都是没有标记的，因此其歧义性最高。强化学习通过对没有概念标记、但与一个延迟奖赏或效用（可视为延迟的概念标记）相关联的训练例进行学习，以获得某种从状态到行动的映射。这里所有的训练样本都是有标记的，但与监督学习不同的是，标记是延迟的，因此强化学习的歧义性介于监督学习与非监督学习之间。 20世纪90年代中后期，研究者们[3]在对药物活性预测（drug activity prediction）问题的研究中，提出了多示例学习（multi-instance learning）的概念。在此类学习中，训练集由若干个具有概念标记的包（bag）组成，每个包包含若干没有概念标记的示例。若一个包中至少有一个正例，则该包被标记为正（positive），若一个包中所有示例都是反例，则该包被标记为反（negative）。通过对训练包的学习，希望学习系统尽可能正确地对训练集之外的包的概念标记进行预测。 与监督学习相比，多示例学习中的训练示例是没有概念标记的，这与监督学习中所有训练示例都有概念标记不同；与非监督学习相比，多示例学习中训练包是有概念标记的，这与非监督学习的训练样本中没有任何概念标记也不同；而与强化学习相比，多示例学习中又没有时效延迟的概念。更重要的是，在以往的各种学习框架中，一个样本就是一个示例，即样本和示例是一一对应关系；而在多示例学习中，一个样本（即包）包含了多个示例，即样本和示例是一对多的对应关系。因此，多示例学习中训练样本的歧义性与监督学习、非监督学习、强化学习的歧义性都完全不同，这就使得以往的学习方法难以很好地解决此类问题。由于多示例学习具有独特的性质和广泛的应用前景，属于以往机器学习研究的一个盲区，因此在国际机器学习界引起了极大的反响，被认为是一种新的学习框架[2]。 * 本文得到国家杰出青年科学基金和国家自然科学基金资助 本文首先介绍多示例学习的起源，然后对该领域的研究进展进行综述，最后对有待深入研究的一些问题进行讨论。 2 问题的提出 大多数药物都是一些分子，它们通过与较大的蛋白质分子例如酶等绑定来发挥作用，药效则是由绑定的程度决定的。对适于制造药物的分子来说，它的某个低能形状和期望的绑定区域将耦合得很紧密；而对不适于制造药物的分子来说，它和期望的绑定区域将耦合得不好。 20世纪90年代中后期，T. G. Dietterich等人[3]对药物活性预测问题进行了研究。其目的是让学习系统通过对已知适于或不适于制药的分子进行分析，以尽可能正确地预测某种新的分子是否适合制造药物。该问题的困难主要在于，每个分子都有很多种可能的低能形状，图1给出了一个例子。而生物化学专家目前只知道哪些分子适于制药，并不知道具体的哪一种形状起到了决定性作用。如果直接使用监督学习框架，将适于制药的分子的所有低能形状都作为正例，而将所有不适于制药的分子的所有低能形状都作为反例，则会由于正例中噪音度太高而难以成功地进行学习。这是因为一个分子可能有上百种低能形状，而这么多形状中只要有一种是合适的，这个分子就适于制药。 旋转 图1 一个内部键发生旋转，分子的形状就发生了显著变化 为了解决这个问题，T. G. Dietterich等人[3]将每一个分子作为一个包，分子的每一种低能形状作为包中的一个示例，由此提出了多示例学习的概念。为了将分子的低能形状表示成属性-值对的形式，他们首先将分子固定在标准位置和朝向，然后从原点比较均匀地放射出162条射线，每条射线被原点与分子表面所截出的线段长度就被作为一个属性，如图2所示。