基于迭代框架与SVDD的多示例算法.pdfVIP

第32卷第6期 杭 州 电子科 技 大 学 学报 Vo1．32，No．6 2012年 12月 Journalof Han~ou DianziUniversity Dec．2O12 doi：10．3969／j．issn．1001—9146．2012．06-020 基于迭代框架与SVDD的多示例算法 王 辉 ，方景龙 (杭州电子科技大学图形图像研究所，浙江 杭州 310018) 摘要：该文提出了一种基于支持向量数据描述的自适应多示例学习算法。该算法首先通过一种代 表示例选取方法，在正、负包中分别选取代表示例 ，并将代表示例映射到特征空间，将多示例学习 问题转化为特征空间中标准单示例机器学习问题 ，然后利用SVDD算法对特征映射后的训练样本 集合进行训练得到分类器 ，再将代表示例更新与分类器训练交替迭代进行 ，最后用训练好的分类 器对测试集进行预测。在多示例学习的COREL图像库进行实验 ，实验结果验证了算法的有效性。 关键词：机器学习；代表示例选取；多示例学习；支持向量数据描述 中图分类号：TP18 文献标识码：A 文章编号：1001—9146(2012)06—0077—04 0 引 言 多示例学习具有独特的视角和广泛的应用前景，很多研究者开始致力于多示例学习的研究，包括设 计新的算法和进行多示例学习的应用 J。在多示例学习问题被提出以后，国内外很多学者对该问题进 行了深入研究，并提出了多种实用算法。这些算法大致可分为两类 J：生成式方法和判别式方法。多 示例学习算法的研究是多示例学习问题和应用的核心，但是 目前大多算法在效率及分类性能上通常不 能同时兼顾。往往在分类性能不错的情况下，随着训练集示例规模扩张，算法执行效率急剧下降，例如 mi—SVM J、MILES_4算法等。而有些算法虽然在时间开销方面处理的不错 ，如MILIS算法，却由于采用 基于包的特征映射而影响了示例分类。本文吸收MILD2【与MILIS方法 的思想，提出了一种基于迭 代框架与支持向量数据描述的多示例学习算法，寻求在算法效率及分类性能之间折衷，同时，该算法可 以在包级和示例级进行分类。 1 基于迭代框架与。SVDD的多示例学习 1．1 初始示例选择 在多示例学习中，由于正包中正示例的不明确性，导致标准单示例机器学习算法不被适用，而负包 中不存在类别标记不明确的示例，因而如何从正包中挑选出真正的正示例 ，成为解决多示例学习问题的 关键之一。由于负包中负示例有着统一的分布规律，可以通过对负包示例建立分布模型 2【]，对给定的 正、负包进行示例裁剪。这里利用高斯核密度估计，对负包示例建立分布模型，可表示为： 1 Ⅲi p(xIX一)= 一 ∑ ∑e-v．IIx-x1．j” (1) 厶 ；miYi一 】 收稿 日期：2012—09—25 基金项目：浙江省科技重大专项资助项 目(C14032) 作者简介：王辉(1987一)，男，山西运城人，在读研究生，计算机应用． 78 杭 州 电子 科 技 大学 学 报 2012年 式中，x表示第 i个负包中第J个示例，为大于零的高斯核参数。 对于某个正包，根据式 l计算包中各示例对应的似然值，取最小似然值对应的示例作为代表正示 例；相反，对于某个负包，取最大似然值所对应的示例作为代表负示例．、记代表正示例集合为：R = {riIi=1，2，…，p)，代表负示例集合为：R一=ri—ii=1，2，…，q)。 1．2 基于包级与示例级特征映射 特征映射是示例选择与分类器训练的纽带，为了有效利用代表示例所包含的分类信息，同时考虑到 对示例级与包级进行分类，可以对代表示例集合R：{R ?R一)作基于包级与示例级的特征映射。 定义示例X与包x；之间距离为：