基于信息熵的主动学习半监督分类研究.pdfVIP

计 算 机技 术 与发 展 vo1 第20 期 ． 20 N。．2 2010年 2月 COMPUTERTECHNOLOGYANDDEVELOPMENT Feb． 2010 基于信息熵的主动学习半监督分类研究 陈锦禾，沈 洁 (扬州大学信息中心，江苏扬州 225009) 摘 要：针对小规模训练样本不足以支持学习器对含有大量潜在不确定因素的未标样本集分类的问题，提出了一种基于 信息熵的主动学习方法，引入信息熵的离散事件概率估计理论，通过对未标文档熵值的计算，结合二阶段学习策略，主动 学习利用现有知识，结合实验样本环境，主动地选取最有可能的解决问题的样本并标注它们的类别，获得新的参数，重新 训练分类器，选择最有利分类器性能的样本，迭代直到未标样本集为空。实验结果表明，该方法取得了较好的分类效果。 关键词：信息熵；半监督学习；主动学习；分类 中国分类号：耵】311 文献标识码：A 文章编号：1673—629X(2010)02—0110—04 ActiveLearningBasedonInformationEntropy forSemi。-’supervisedClassification CHENJin—he，SHENJie (InformationCenterofYangzhouUniversity，Yangzhou225009，China) Abstract：№ ofsupervisedmachinelearningmethodsledtopoorperformancewhenworkonlimitde taggde data．Investigatde anovel semi—supervisedlearningmethodbasedonactivelearning with informationentropy．Anoptimizationstrategyofselecting partofin． stancesfrom unlabelde examplesforclassifyingineachiteration，basedonactivelearning from unhbelde examples，waspresentde ．The experimentresultsshowthatourmethodachievehighperformanceonsmalltaggde data． Key s：informationnetropy；semi—supervisedlearning ；activelearning ；classificatoin 0 引 言 的选择是随机的，也就是说训练样本和待分类样本是 文本分类技术是优化文本管理的重要环节，目的 独立同分布的。实际中，这一假设对于半监督学习通 在于对未知类别的文档进行自动分类。传统的基于机 常难以成立。通常情形下，未标样本可能来 自于与训 器学习的分类方法主要为有监督学习和无监督学习。 练样本不同的分布或者不同的环境，从而标注样本数 有监督学习主要分为两个过程：训练过程和分类过程 ， 量不足以支持学习器在假设空间内搜索到 目标函数。 通过对标记样本的训练学习，计算分类器的参数，对未 针对这一问题，笔者提出了一种基于信息熵的主动学 标文档进行分类的过程。主要有Rocchioalgorithme。 习方法，通过对未标样本熵值的计算，使用分类样本的 NaiveBayes[ ，supportvectormachines3【】等方法。有监 内在信息获取与分类相关的局部模型，使分类器有针 督学习需要标记大量的