基于样本不确定性和代表性相结合的可控主动学习算法-燕山大学学报.pdfVIP

卷 期 燕山大学学报 年 月 文章编号：1007-791X (2009) 04-0341-06 基于样本不确定性和代表性相结合 的可控主动学习算法研究 胡正平 ，高文涛 ，万春艳 （ 燕山大学信息科学与工程学院，河北秦皇岛 ； 齐齐哈尔市第三中学，黑龙江 齐齐哈尔 摘 要：通过选取最有信息量的样本提交专家进行标注，主动学习算法可以有效地减少无效标注样本的工作量。 在充分考虑位于分类边界的不确定样本和基于先验分布的具有代表性样本的基础上，本文构造了不确定性与代 表性相结合的可控主动学习算法。首先利用样本的 分布状况建立不确定性置信度模型，该思路不需要知道 样本分布的具体类型和参数计算；然后在样本聚集度模型的基础上进行聚类，在此基础上建立代表性置信度模 型。最后将不确定性置信度模型与代表性置信度模型进行综合，构造可控的主动学习策略，使得每次主动学习 选择的样本更具有 “价值”。在 机器学习数据库上的仿真实验结果表明本文的思路是合理可行的，在实验 所用数据集上，当达到相同的目标正确率时，本文的方法比随机 样算法所需的样本数量少得多。 关键词：可控主动学习；不确定性样本；样本先验分布；代表性样本 中图分类号：TP 181 文献标识码：A ，其中 为已标注样本集，且 引言 中每个样本的标签为 中的一个，未标 传统监督学习问题中，学习算法以外界给定的 注样本集为 ，系统以已标注样本集 为训 已标注样本集作为训练集进行训练得到分类器，而 练集训练出初始分类器，然后在未标注样本集 中 非监督学习算法则是使用未标注样本集进行聚类 根据某种原则选择部分样本进行标注并将其加入 进而研究样本集中蕴含的规律。在很多现实应用 到训练集中，从而训练出新的分类器，整个过程循 中，常常遇到的是半监督学习问题 ，即拥有较小 环多次，直到分类器的某种评价指标达到预设值或 量的已标注样本集和大量的未标注样本集。在半监 循环次数达到预设值为止。总体上主动学习过程包 督学习问题中，对样本进行标注的代价较大并且难 括两部分：学习引擎和选择引擎 。学习引擎的作 度较高，而获取未被标注样本则相对容易。关于半 用是使用一个基准监督学习算法在已标注样本集 监督学习问题关键有两点：一是 过合理利用未标 上训练出分类器，而选择引擎则是负责在未标注 注样本集的信息来提高监督学习算法的性能；二是 样本集 中选择要标注的样本，提交专家标注后再 利用一个好的样本选择策略对众多未标注样本进 将样本交给学习引擎进行学习。 行选择标注，使之能够加入到训练集中进行训练。 用什么原则选取最有“价值”的样本进行标 为解决半监督学习问题，主动学习得到众多的国内 注是主动学习的关键，因为“价值”的评判标准不 外学者的广泛关注。 同导致算法性能不同。例如， 等人提出投票 主动学习算法可以从未标注样本集中选择最 选择方法，从版本空间（ ）中随机选 有价值的样本交由专家进行标注，从而在不损失训 择若干假设构成一个委员会，然后选择委员会中的 练精度的情况下减少标注样本的代价 。