基于样本不确定性和代表性相结合的可控主动学习算法研究.pdfVIP

33 4 Vol. 33 No. 4 第 卷 第 期 燕山大学学报 2009 7 Journal of Yanshan University July 2009 年 月 文章编号：1007-791X (2009) 04-034 1-06 基于样本不确定性和代表性相结合 的可控主动学习算法研究 1, * 1 2 胡正平 ，高文涛 ，万春艳 1. 066004 2. 161000) （ 燕山大学 信息科学与工程学院，河北 秦皇岛 ； 齐齐哈尔市第三中学，黑龙江 齐齐哈尔 摘 要：通过选取最有信息量的样本提交专家进行标注，主动学习算法可以有效地减少无效标注样本的工作量。 在充分考虑位于分类边界的不确定样本和基于先验分布的具有代表性样本的基础上，本文构造了不确定性与代 表性相结合的可控主动学习算法。首先利用样本的NN 分布状况建立不确定性置信度模型，该思路不需要知道 样本分布的具体类型和参数计算；然后在样本聚集度模型的基础上进行聚类，在此基础上建立代表性置信度模 型。最后将不确定性置信度模型与代表性置信度模型进行综合，构造可控的主动学习策略，使得每次主动学习 选择的样本更具有 “价值”。在 UCI 机器学习数据库上的仿真实验结果表明本文的思路是合理可行的，在实验 所用数据集上，当达到相同的目标正确率时，本文的方法比随机采样算法所需的样本数量少得多。 关键词：可控主动学习；不确定性样本；样本先验分布；代表性样本 中图分类号：TP 181 文献标识码：A 0 引言 = 1, 2 , , ，其中 为已标注样本集，且 中每个样本的标签为 1, 1 中的一个，未标 传统监督学习问题中，学习算法以外界给定的 注样本集为 = ，系统以已标注样本集 为训 已标注样本集作为训练集进行训练得到分类器，而 练集训练出初始分类器，然后在未标注样本集 中 非监督学习算法则是使用未标注样本集进行聚类 根据某种原则选择部分样本进行标注并将其加入 进而研究样本集中蕴含的规律。在很多现实应用 到训练集中，从而训练出新的分类器，整个过程循 [ ] 1 中，常常遇到的是半监督学习问题 ，即拥有较小 环多次，直到分类器的某种评价指标达到预设值或 量的已标注样本集和大量的未标注样本集。在半监 循环次数达到预设值为止。总体上主动学习过程包 [ ] 督学习问题中，对样本进行标注的代价较大并且难 5 括两部分：学习引擎和选择引擎 。学习引擎的作 度较高，而获取未被标注样本则相对容易。关于半