基于标记增强的多标记学习.pdfVIP

摘 要 在传统监督学习中，每个训练样本由一个训练示例和一个类标记组成。在现实世界 的应用中，每个训练示例有可能和多个类标记关联。多标记学习的任务是训练一个预测 模型为一个未见示例预测一个相关标记集合。 传统多标记学习算法把每个类标记当做一个逻辑指示器，来代表该类标记是对示例 相关或是不相关，即，用+1 代表该类标记对示例相关，用−1 代表该类标记对示例不 相关。这种由−1 或+1 代表的标记类型叫做逻辑标记。逻辑标记不能描述不同的标记 重要度。然而，在现实世界的多标记学习任务中，每个可能标记的重要度通常是不同。 但是，对实际应用来说，直接去获得标记重要度往往是非常困难的。因此需要一种方式 将示例的本质的标记重要度从逻辑多标记数据中重构出来。为了解决这个问题，本文假 设每个多标记示例的类描述是一个潜在的实数标记向量，每个标记对应的实数值能反映 该标记的标记重要度，这种标记被称为数值标记。从逻辑多标记数据中重构出数值标记 的过程叫做标记增强。一些和标记增强功能相似的相关算法已经在过去几年中提出。这 些方法可以分为两类，一类是基于模糊理论的标记增强方法，另一类是基于图模型的标 记增强方法。基于模糊理论的标记增强方法通过模糊方法给每个标记构造模糊隶属度。 基于图模型的标记增强方法通过利用特征空间的拓扑结构把逻辑标记转化为数值标记。 目前，已经存在一些基于标记增强的多标记学习方法。这些方法都是两阶段方法， 即，首先通过标记增强重构出数值标记，然后再根据重构出的数值标记来训练多标记预 测模型。本文提出一种单阶段方法叫做LEMLL （Label Enhanced Multi-Label Learning） 方法，这个方法把标记增强和模型训练整合到一个统一框架中，其中数值标记和分类器 是同时学出来的。大量的实验说明了标记增强可以显著提升多标记学习模型的预测性 能，LEMLL 算法可以有效地从逻辑多标记数据中重构出潜在标记重要度。 关键词：多标记学习，标记增强，标记重要度，数值标记，标记分布 I Abstract In traditionalsupervisedlearning,eachtrainingexampleisrepresentedbyasingleinstance whileassociatedwithasingleclasslabel. Inreal-worldapplications,eachtraininginstancemay be associated with multiple class labels. The task of multi-label learning is to predict a set of relevantlabelsforanunseeninstance. Traditional multi-label learning algorithms treat each class label as a logical indicator of whetherthecorrespondinglabelisrelevantorirrelevanttotheinstance,i.e., +1 representsrel- evanttotheinstanceand −1 representsirrelevanttotheinstance. Suchlabelrepresentedby −1 or +1 is called logical label. Logical label cannot reflect different label importance. However, for real-world multi-label learning problems, the importance of each possible label is gener- ally different. For real-world applications, it is difficult to obtain the label importance directly. Thusweneedamethodtoreconstructtheessentiallabelimportancefromthelogicalmulti-label data. To so