迁移学习简明手册.docx

迁移学习简明手册

一点心得体会

版本号：v1.1

王晋东

中国科学院计算技术研究所

tutorial.transferlearning.xyz

2018年4月初稿

2019年10月最新修改

摘要

迁移学习作为机器学习的一大分支，已经取得了长足的进步。本手册简明地介绍迁移学习的概念与基本方法，并对其中的领域自适应问题中的若干代表性方法进行讲述。最后

简要探讨迁移学习未来可能的方向。

本手册编写的目的是帮助迁移学习领域的初学者快速入门并掌握基本方法，为自己的

研究和应用工作打下良好基础。

本手册的编写逻辑很简單：是什么——介绍迁移学习；为什么——为什么要用迁移学习、为什么能用；怎么办——如何进行迁移(迁移学习方法)。其中，是什么和为什么解决概念问題，这是一切的前提；怎么办是我们的重点，也占据了最多的篇幅。为了最大限度地方

便初学者，我们还特别编写了一章上手实践，直接分享实现代码和心得体会。

推荐语

看了王晋东同学的“迁移学习小册子”,点三个赞!迁移学习被认为是机器学习的下一个爆点，但介绍迁移学习的文章却很有限。这个册子深入浅出，既回顾了迁移学习的发展历史，又囊括了迁移学习的最新进展。语言流畅，简明通透。应该对机器学习的入门和提高都

有很大帮助!

——杨强(迁移学习权威学者，香港科技大学教授，IJCAIpresident,AAAI/ACMfellow)

迁移学习简明手册

目录

写在前面I

致谢II

手册说明III

1迁移学习基本概念1

1.1引子 1

1.2迁移学习的概念 1

1.3为什么需要迁移学习? 2

1.4与已有概念的区别和联系..4

1.5负迁移 5

2迁移学习的研究领域7

2.1按目标域标签分 7

2.2按学习方法分类 7

2.3按特征分类 8

2.4按离线与在线形式分 8

3迁移学习的应用9

3.1计算机视觉 9

3.2文本分类 9

3.3时间序列 10

3.4医疗健康 11

4基础知识12

4.1迁移学习的问题形式化 12

4.1.1领域 12

4.1.2任务 12

4.1.3迁移学习 12

4.2总体思路 13

4.3度量准则 14

4.3.1常见的几种距离 14

4.3.2相似度 14

4.3.3KL散度与JS距离 15

4.3.4最大均值差异MMD.15

4.3.5PrincipalAngle 16

4.3.6A-distance .16

4.3.7Hilbert-SchmidtIn-

dependenceCriterion.16

4.3.8WassersteinDistance.16

4.4迁移学习的理论保证*…………17

5迁移学习的基本方法19

5.1基于样本迁移 19

5.2基于特征迁移 20

5.3基于模型迁移 20

5.4基于关系迁移 21

6第一类方法：数据分布自适应23

6.1边缘分布自适应 23

6.1.1基本思路 23

6.1.2核心方法 23

6.1.3扩展 25

6.2条件分布自适应 26

6.3联合分布自适应 27

6.3.1基本思路 27

6.3.2核心方法 27

6.4动态分布自适应 30

6.5小结 32

7第二类方法：特征选择34

7.1核心方法 34

7.2扩展 34

7.3小结 35

8第三类方法：子空间学习