《基于ELM的半监督学习算法》-毕业论文.docVIP

l 基于ELM的半监督学习算法 作 者 姓 名 专 业 信息与计算科 指导教师姓名 专业技术职务 （目录格式） 目 录 （三号、黑体、居中、目录两字空四格、与正文空一行） 摘 要 ……………………………………………………………1 第一章 绪论 …………………………………………… …2 1.1半监督学习的研究背景 ……………………………………………2 1.2半监督学习的研究现状 ……………………………………………4 1.3半监督学习研究中存在的问题 ……………………………………7 1.4神经网络研究概述 …………………………………………………9 1.5本文内容概述和结构安排…………………………………………15 第二章（空两格）☆☆☆☆☆…………………………… 29 2.1☆☆☆………………………………………………………………29 2.2☆☆☆………………………………………………………………35 …… …… …… 摘 要 传统监督学习方法需要利用大量有标记的样本进行学习。然而在实际应用中，标记样本的采集和整理工作费时费力，标记样本不足已经成为制约监督学习方法的瓶颈之一。无监督学习虽然不需要标记样本，但是缺乏先验知识的有效引导，模型的准确性难以保证。半监督学习(semi-supervised learning)正是近年来涌现出的一种综合利用标记样本和未标记样本进行学习的理论。目前，半监督学习理论尚处于发展阶段，在结构自适应调节、增量式训练和提升标记样本序列的利用效率等方面仍有待完善。为解决上述问题，本文提出几种基于神经网络的半监督学习方法，力图借助神经网络在结构动态调整、可逆学习以及知识提取与整合等方面的优势提高半监督学习方法的性能。本文主要研究基于极端学习机的（ELM）的半监督学习方法。我们首先分析了ELM的运行机制及其优化方向；在此基础上，构造出基于ELM的静态半监督学习方法；本文同时分析了增量式ELM的理论优势，并构造出一种增量式半监督学习方法—三重可逆ELM，该方法改变了传统的半监督学习方法的重复训练模式。 关键词：半监督；神经网络；极端学习机；可逆学习 ABSTRACT (采用三号字、Times New Roman字体、加黑、居中、与内容空一行) （内容采用小四号Times New Roman字体） Key words：(小四号、Times New Roman、黑体、加黑、顶格) （内容采用小四号、Times New Roman字体、接排、各关键词之间有1个空格及分号） 绪论 本章首先回顾了半监督学习的研究背景和研究现状;在此基础上，总结出半监督学习研究中存在的主要问题，并提出利用神经网络解决上述问题的思路，最后给出本文的内容概述和结构安排。 1.1半监督学习研究背景 机器学习的研究主旨是使用计算机模拟人类的学习活动，而从数据中学习是机器学习研究的核心问题之一。从数据中学习就是研究如何从一些观测数据(样本)出发得 到目前尚不能通过原理分析得到的规律，然后利用这些规律对未来数据进行预测和分析。基于数据的机器学习主要包括三种方式:监督学习、无监督学习和半监督学习。在 传统的监督学习中，学习器通过对大量有标记的训练样本进行学习，进而建立相应的模型用以处理测试样本。这里的“标记”(label)是指样本所对应的目标向量。随着数据收集和存储技术的飞速发展，收集大量未标记(unlabeled)样本己相当容易，而获取大量有标记的样本则要困难得多，因为获得这些标记往往需要耗费大量的人力以及物力。例如，在遥感影像分类问题中，遥感影像的地物类别样本需要实地考察后才能确定，然而遥感影像覆盖区域大、实地考察困难且考察周期长，上述原因导致标记样本极为有限。 如果仅使用少量的有标记样本训练学习器，往往导致学习器的泛化能力低下;如果缺乏对大量未标记样本的利用，会造成数据资源的极大浪费。因此，在有标记样本较少情况下，如何利用大量的未标记样本来改善学习性能已成为当前机器学习研究中最受关注的问题之一。随着机器学习的不断发展以及利用未标记样本这一需求的日渐强烈，半监督学习在近年来逐渐成为一个研究热点。半监督学习的前提假设较少，理论基础较完善，在实际应用中的优势更加明显。 半监督学习思想开始于自学习(self-learning)方法的提出。自学习方法实质上是一种反复迭代的监督学习方法，首先以标记样本训练学习器，之后对未标记样本进行迭代分类。每次迭代中都将一部分置信度较高的未标记样本转化为标记样本，再利用扩充后的标记样本集重复训练学习