机器学习中知识迁移方法研究-计算机软件与理论专业论文.docxVIP

山东师范大学硕士学位论文 山东师范大学硕士学位论文 4 4 独 创 声 明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。 据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写 过的研究成果，也不包含为获得 （注：如没有其它需要特别声明的，本栏 可空）或其它教育机构的学位或证书使用过的材料。与我一同工作的同志对本研究所做的 任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名： 导师签字： 学 位 论 文 版 权 使 用 授 权 书 本学位论文作者完全了解 学校 有关保留、使用学位论文的规定，有权保留并向国家有 关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权 学校 可以将学 位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手 段保存、汇编学位论文。（保密的学位论文在解密后适用本授权书） 学位论文作者签名： 导师签字： 签字日期：201 年 月 日 签字日期：201 年 月 日 山东师范大学硕士学位论文 山东师范大学硕士学位论文 山东师范大学硕士学位论文 山东师范大学硕士学位论文 II II 目 录 摘 要 i Abstract iii 第一章 绪论 1 1.1 研究背景和意义 1 1.2 本文工作及贡献 2 1.2.1 本文组织结构 2 1.2.2 本文贡献 2 第二章 迁移学习相关知识 4 2.1 传统机器学习技术 4 2.1.1 决策树分类技术 4 2.1.2 贝叶斯分类技术 4 2.1.3 人工神经网络 5 2.1.4 支持向量机 6 2.1.5 k-近邻分类 7 2.1.6 回归预测 7 2.3 迁移学习分类 9 2.4 迁移学习算法 10 2.4.1 归纳式迁移学习算法 10 2.4.2 转换式迁移学习算法 12 2.4.3 无监督迁移学习算法 13 2.5 迁移学习应用 14 第三章 基于动态数据集重构的集成迁移学习 15 3.1 算法提出背景 15 3.2 相关理论知识 16 AdaBoost 算法描述 16 KL 散度 17 3.2.3 数据集分割重构 17 3.2.4 TrAdaboost 算法流程 18 3.3 动态数据集重构的提升集成迁移学习 19 DRTAT 算法流程 19 DRTAT 算法思想分析 20 第四章 基于神经网络误差分析与数据重组的迁移学习 21 4.1 算法提出背景 21 4.2 问题描述 21 4.3 迁移贡献度的初始化 22 4.4 数据集重组与分类器集成[38] 23 4.5 NEDRT 算法思想分析 24 4.6 NEDRT 算法流程[42] 24 第五章 基于向量平移和模糊聚类的迁移学习 26 5.1 算法提出背景 26 5.2 解决方法探讨 26 5.3 特征空间平移 27 5.4 模糊 C 均值聚类算法 28 5.5 算法流程 29 第六章 实验分析 31 DRTAT 实验结果 31 6.1.1 实验数据 31 6.1.2 实验结果 32 HYPERLINK \l _TOC_250000 NEDRT 实验分析 32 6.2.1 数据集设置 32 6.2.2 实验结果 33 第七章 总结与展望 36 7.1 本文研究内容总结 36 7.2 进一步的工作 36 参考文献 37 攻读学位期间发表的学术论文 40 致 谢 41 II I 机器学习中知识迁移方法研究 摘 要 传统的机器学习是基于统计学的机器学习，学习的任务就是在给定充分训练数据的基 础上来学习一个分类模型，然后利用这个学习到的模型来对测试数据进行分类与预测。其 中有一个基本的假设条件：训练数据与测试数据来自相同的特征空间而且服从相同的概率 分布。但是在实际问题中，这种假设往往不成立，这样就导致学习到的模型无法很好的应 用到测试数据上去，于是传统的机器学习技术就对这些问题的解决失去了效力。这往往需 要我们去重新标注大量的训练数据以满足我们训练的需要，但标注新数据是非常昂贵的， 需要大量的人力与物力。从另外一个角度上看，如果我们有了大量的、在不同分布下的已 标记的训练数据，完全丢弃这些数据也是非常浪费的。如何合理的利用这些数据就是迁移 学习主要解决的问题。 目前根据源数据集和目标数据集中数据标记的情况不同，迁移学习可以划分为三类： 归纳式迁移学习，直推式迁移学习和无监督迁移学习，其中前两种迁移学习是当今研究的 热点。根据迁移对象的不同，现今解决迁移学习问题的方法可分为四种：实例迁移法，主 要是通过挑选和提取对目标数据集训练有帮助的样例进行权重重组，将其作为辅助训练数 据来帮助目标数据空间的学习；特征代表迁移法，主要是寻找一个“好”的