基于KL距离的半监督分类算法-计算机软件与理论专业论文.docxVIP

中文摘要随着网络、医学等技术的发展，每时每刻都会产生大量的数据，为了储存和 中文摘要 随着网络、医学等技术的发展，每时每刻都会产生大量的数据，为了储存和 管理数据，还需要耗费大量的人力和物力。在这种背景下，数据挖掘方法被用于 处理分类等实际应用中。但是，在传统分类任务中，只有通过增加人工标识的己 知训练样本来提高分类精准度，造成了标注成本的增加。因此，围绕如何利用未 标识样本来提高分类性能的研究与应用就引起了学术界和工业界越来越多的关 注，其中，基于已知正类样本和未标识样本的半监督分类就成了研究的热点问题 之一。 本文主要研究在训练集中没有任何反类实例可供学习前提下，如何有效找未 标记集中隐藏的反类实例。目前，基于已知正样本和未标识样本的半监督分类方 法都是针对均衡数据集的，而无法有效处理非平衡数据问题，即训练集和未标识 数据集中的类别数据分布差异很大或者未标识数据集中的反类实例个数特别少。 针对这一特殊问题，本文提出的解决方法也是非常直接和高效的。由于在传统分 类过程中，分类器最终是根据实例所属后验概率的大小来未标识实例分类，因 此，本文提出了基于KL距离的半监督分类算法，利用未标识实例所属后验概率和 训练集中类别先验概率的相对熵来衡量分类结果的正确度，从而抵消了类别不平 衡对分类结果的影响，提高了分类的精确度。同时，针对平衡数据集，本文又提 出了直接基于后验概率的熵值来衡量后验概率的差异程度：当后验概率的熵值越 小时，后验概率的分布就越不均匀，对实例的分类可信度就越高，反之亦然。 本文的主要贡献包括： I．提出了一种新的半监督学习方法。该方法的底层可以使用任何一种具体的分 类技术，依赖任何一种底层分类技术，从而避免了分类器对分类结果的影 响，降低了数据类型和分类器之间的依赖度。 2．采用了更加简单灵活的处理方式：对于非平衡训练集，就采用基于KL距离 的半监督学习算法；而对于平衡训练集，可以直接采用基于熵的半监督学习 算法。 3．提供的实验数据集，不仅有文本数据，还有非文本数据。同时，保证了不同 参数或因素下的性能对比。 4．提供了大量充分的实验来验证所提方法的有用性和高效性。通过文本数据集 4．提供了大量充分的实验来验证所提方法的有用性和高效性。通过文本数据集 和非文本数据集的实验对比，本文所提的方法不仅在查准率和查全率上都优 于同类方法。 关键字：数据挖掘，分类，半监督学习，KL距离，熵 AbstractAs Abstract As the rapid progress of network，biology and on，lots of data is produced． To store and manage data，it costs lots of manpower and financial resources．Hence， how to generate economic benefits from static data has become a problem to solve be addressed．For this，classification and other data mining techniques are proposed． However，in traditional classification methods，only by increasing the artificial known training samples to improve the classification accuracyit is very costly．Therefore，in recent years．how to use unlabeled samples to improve the classification performance gets more and more attention，especially semi—supervised classification based on known and unlabeled samples． This paper mainly focuses on how to find hidden unlabeled negative instances， while there are not any negative samples in the training set．At present，semi- supervised classification methods based on known positive and unlabeled samples are almost about balanced data set，not eff