机器学习中知识迁移方法分析-计算机软件与理论专业论文.docxVIP

山东师范大学硕士学位论文 山东师范大学硕士学位论文 II II 目 录 摘 要 i Abstract iii 第一章 绪论 1 1.1 研究背景和意义 1 1.2 本文工作及贡献 2 1.2.1 本文组织结构 2 1.2.2 本文贡献 2 第二章 迁移学习相关知识 4 2.1 传统机器学习技术 4 2.1.1 决策树分类技术 4 2.1.2 贝叶斯分类技术 4 2.1.3 人工神经网络 5 2.1.4 支持向量机 6 2.1.5 k-近邻分类 7 2.1.6 回归预测 7 2.3 迁移学习分类 9 2.4 迁移学习算法 10 2.4.1 归纳式迁移学习算法 10 2.4.2 转换式迁移学习算法 12 2.4.3 无监督迁移学习算法 13 2.5 迁移学习应用 14 第三章 基于动态数据集重构的集成迁移学习 15 3.1 算法提出背景 15 3.2 相关理论知识 16 AdaBoost 算法描述 16 KL 散度 17 3.2.3 数据集分割重构 17 3.2.4 TrAdaboost 算法流程 18 3.3 动态数据集重构的提升集成迁移学习 19 DRTAT 算法流程 19 DRTAT 算法思想分析 20 第四章 基于神经网络误差分析与数据重组的迁移学习 21 4.1 算法提出背景 21 4.2 问题描述 21 4.3 迁移贡献度的初始化 22 4.4 数据集重组与分类器集成[38] 23 4.5 NEDRT 算法思想分析 24 4.6 NEDRT 算法流程[42] 24 第五章 基于向量平移和模糊聚类的迁移学习 26 5.1 算法提出背景 26 5.2 解决方法探讨 26 5.3 特征空间平移 27 5.4 模糊 C 均值聚类算法 28 山东师范大学硕士学位论文 5.5 算法流程 29 第六章 实验分析 31 DRTAT 实验结果 31 6.1.1 实验数据 31 6.1.2 实验结果 32 HYPERLINK \l _TOC_250000 NEDRT 实验分析 32 6.2.1 数据集设置 32 6.2.2 实验结果 33 第七章 总结与展望 36 7.1 本文研究内容总结 36 7.2 进一步的工作 36 参考文献 37 攻读学位期间发表的学术论文 40 致 谢 41 II I 机器学习中知识迁移方法研究 摘 要 传统的机器学习是基于统计学的机器学习，学习的任务就是在给定充分训练数据的基 础上来学习一个分类模型，然后利用这个学习到的模型来对测试数据进行分类与预测。其 中有一个基本的假设条件：训练数据与测试数据来自相同的特征空间而且服从相同的概率 分布。但是在实际问题中，这种假设往往不成立，这样就导致学习到的模型无法很好的应 用到测试数据上去，于是传统的机器学习技术就对这些问题的解决失去了效力。这往往需 要我们去重新标注大量的训练数据以满足我们训练的需要，但标注新数据是非常昂贵的， 需要大量的人力与物力。从另外一个角度上看，如果我们有了大量的、在不同分布下的已 标记的训练数据，完全丢弃这些数据也是非常浪费的。如何合理的利用这些数据就是迁移 学习主要解决的问题。 目前根据源数据集和目标数据集中数据标记的情况不同，迁移学习可以划分为三类： 归纳式迁移学习，直推式迁移学习和无监督迁移学习，其中前两种迁移学习是当今研究的 热点。根据迁移对象的不同，现今解决迁移学习问题的方法可分为四种：实例迁移法，主 要是通过挑选和提取对目标数据集训练有帮助的样例进行权重重组，将其作为辅助训练数 据来帮助目标数据空间的学习；特征代表迁移法，主要是寻找一个“好”的特征代表来最小 化各个特征空间或者分类器、回归模型之间的差异；参数迁移法，寻找源数据空间模型和 目标数据空间模型之间的共同的参数或者前提来进行进一步处理达到知识迁移的目的；关 联知识迁移法，通过建立源空间数据的关系模型与目标空间数据的关系模型的映射模型来 实现知识的迁移,并假定两个数据空间是相关的而且各自服从独立同分布假设。 本文对归纳式迁移学习进行了重点研究，在总结几种主流的迁移学习解决方法的基础 上，提出了三种算法： 基于数据集动态重组的集成迁移学习。算法首先将大量旧的已标记数据进行随机等量 分割，把得到的旧数据的各个分块分别与少量的新已标记数据组合得到多个重构的训练数 据集，然后分别训练分类器得到一个集成分类器，利用它对样例进行权值的更新，最后得 到最终的集成分类器。 基于神经网络误差分析和数据重组的集成迁移学习。首先利用已标记的目标数据训练 一个神经网络分类器模型，然后把源数据集中的样例输入该模型中，利用输出的误差来为 该样例的权重进行初始化，再利用分割重组的方式重组数据集并训练分类器，最后进行分 类器的集