迁移学习-北京航空航天大学.PDF

专题 第 14 卷  第9 期  2018 年 9 月 迁移学习：回顾与进展 1 2 杨　强 　童咏昕 1 香港科技大学 关键词 ： 2 迁移学习　人工智能　小数据学习 北京航空航天大学 创造智能的梦想，一直以来是激励人类在人 分验证。1997 年，“深蓝”通过在状态空间搜索打 工智能领域不断披荆斩棘的动力。人工智能也在一 败了国际象棋世界冠军卡斯帕罗夫，其本质上是物 直不断地开拓新的技术和应用。然而，不断发展的 理符号空间的排列组合计算。随着大数据时代的到 人工智能技术对计算资源和数据资源的需求也在激 来，更加有效的机器学习方法如卷积神经网络和深 增，逐渐成为人工智能新的瓶颈。 度神经网络等，使得从数据中获取智慧这一方案在 如何解决这一困境？近年来迁移学习逐渐走入 语音处理、图像识别等诸多领域取得了巨大的成功。 人们的视野。迁移学习旨在将其“举一反三”的能 强化学习是一种“无中生有”的智能创造方式，其 力具象为算法框架，将某个领域的知识迁移到另一 通过在AlphaGo 项目中与深度学习“联姻”，引起 个领域的学习中，从而打破数据资源的桎梏。从20 了人们的广泛关注。AlphaGo 的进阶版本AlphaZero 世纪90 年代以来，迁移学习已经逐渐发展出了样 更是通过纯粹的强化学习方法获得了优于AlphaGo 本迁移、特征迁移、模型迁移和关系迁移等多个门 的棋力。 类，并且和深度学习有了进一步的结合。在图片数 上述研究均取得了很大成就，但都需要耗费巨 据、文本数据等多种数据的学习建模领域崭露头角， 大的计算资源和数据资源。然而，反观人类从蒙昧 建立起较为成熟的理论和实践体系，逐步将小数据 无知的婴儿逐渐长大成人的过程，你会觉得很有趣。 学习从理论变为现实。 知识和智慧的增长速度一开始很慢，但随着知识量 的增加，人类学习新知识的速度越来越快。这其中 从人工智能到迁移学习 涉及到的一个关键问题是人类具有举一反三，或者 说知识迁移的能力，这使得人类通过极少量的样本 在20 世纪60 年代人工智能发展早期，人们认 就可以完成有效的学习。比如，会骑自行车的人更 为智能来自逻辑，希望通过对计算物理符号的排列 容易学会骑摩托车；精通一门编程语言的人，学习 组合来实现人工智能，因此研究了诸如下棋、推理、 其他编程语言也会觉得十分简单。 路径规划等问题，并取得了一些成就。经过十几年 受到这一想法的启发，近年来迁移学习开始受 发展，人们发现智能也可以来自程序的自我学习， 到关注。而除了模仿和解释人类学习的机理之外， 并发明了各种各样的机器学习方法，包括神经网络。 机器学习依赖大量数据的困扰也是迁移学习发展的 从20 世纪90 年代一直到21 世纪，随着机器计 动力。虽然在某些领域，我们已经积累了大量的数 算能力的大幅度提高，上述方法的可行性均得到部 据，但仍有许多领域处于数据匮乏的状态，在这些 36 第 14 卷  第9 期  2018 年 9 月 领域应用人工智能技术会异常困难。如果我们能使 迁移学习成为机器学习中一个重要的分支领域。近 用迁移学习的方法论