半监督学习中不平衡数据集分类研究软件工程专业论文.docxVIP

硕士学位论文半监督学习中不平衡数据集分类研究 硕士学位论文 半监督学习中不平衡数据集分类研究 Research on Imbalanced Dataset Classification in Semi·supervised Learning 学 号： 窒!量坦鱼丝 完成日期： 星Q!墨么墨丝 大连理工大学 Dalian Univd-sity of Technology 万方数据 大连理工大学学位论文独创性声明作者郑重声明：所呈交的学位论文，是本人在导师的指导下进行研究 大连理工大学学位论文独创性声明 作者郑重声明：所呈交的学位论文，是本人在导师的指导下进行研究 工作所取得的成果。尽我所知，除文中己经注明引用内容和致谢的地方外， 本论文不包含其他个人或集体已经发表的研究成果，也不包含其他已申请 学位或其他用途使用过的成果。与我一同工作的同志对本研究所做的贡献 均已在论文中做了明确的说明并表示了谢意。 若有不实之处，本人愿意承担相关法律责任。 学位论文题目： 圭堕鳌堂翌主丕±煎数堡苤佥耋翌窒 作者签名：——年鹕L噍且好上月]L日 万方数据 大连理工大学硕士学位论文摘 大连理工大学硕士学位论文 摘 要 随着现代科学技术的发展，如何从海量数据中挖掘出隐藏的信息、规律吸引了大量 研究学者的关注。分类方法作为数据挖掘的一个重要手段被广泛应用于实际生活中，然 而分类是受到很多因素制约的，除了分类器本身的原因，还包括样本复杂度、样本分布 等原因，其中，样本分布对分类方法有着重要的影响。由于大多数的传统分类器建立在 数据集中各个类别样本数分布相同的假设基础上，一旦数据集存在不平衡的样本分布， 分类器就会明显偏向于强势类，使得弱势类难以被正确分类。 不平衡数据集的分类问题不仅困扰着监督学习的方法，而且对半监督学习方法有着 一样的问题，然而传统的不平衡数据集分类方法基本是在监督学习领域中，半监督学习 领域中，关于不平数据集分类的研究非常少。由于半监督学习领域中，数据集的特点是 少量的有标签数据和大量的无标签数据，且重采样方法需要判断分类边界而显得不太适 合，因此，本文主要关注于半监督学习中不平衡数据集的分类研究。 考虑到半监督学习领域中大量无标签数据的存在，本文提出一种基于样本信息量的 迭代最近邻过采样(SI—INNO)方法，在分类开始前，通过样本的相似性，将一部分无 标签数据转化为有标签数据，SI．INNO结合了样本的信息量来选择样本，更加合理地改 进数据集的样本分布。这种方法不仅适用于二分类数据集，同样适用于多分类数据集。 实验中，本文分析了SI．INNO算法在处理不平衡数据集时，有标签数据集和整体数 据集不平衡度的关系。在大量的数据集上实验表明，结合本文所提算法对预处理数据集 后，再使用半监督分类算法进行分类，可以改进原有算法在针对不平衡数据集分类时所 出现的偏差问题。因此，结合了SI—INNO的半监督分类算法对不平衡数据集的分类有更 好的鲁棒性。 关键词：不平衡数据集分类：半监督学习；最近邻过采样 万方数据 半监督学习中不平衡数据集分类研究Research 半监督学习中不平衡数据集分类研究 Research on Imbalanced Dataset Classification in Semi—supervised Learning Abstract W曲the development of modern science and technology，how to dig out the hidden information a11d useful rule from the huge data has attracted more and more aaentioIL Classification methods are widely used in the real application as an important measure ofdata mining．However,Classification is restricted by many factors．Except for the cause of the classifier itself,but also includes sample complexity,sample distr如ution,etc．Amongthem,the sample distr自aution has important influence on classification methods．As most traditional classifiersarebuilt011thehypothesisthateveryclass hasthe samenumberofsamples in