[AI工具宝典]当AI实现多任务学习，它究竟能做什么？.pdfVIP

本文介绍了AI多任务学习的定义、特征、优势和应用场景，表达AI多任务学习的发展

要向人类看齐。

提到AI领域的多任务学习，很多人可能一下子就想到通用人工智能那里了。通俗意义上

的理解：就像《超能陆战队》里的大白这样一种护理机器人，既能进行医疗诊断，又能读

懂人的情绪，还能像陪伴机器人一样完成各种复杂任务。

不过大白毕竟只是科幻电影当中的产物，现有的AI技术大多还处于单体智能的阶段，也

就是一个机器智能只能完成一项简单任务。

工业机器人中做喷漆的就只能用来喷漆；做搬运的只能用来搬运；识别人脸的智能摄像头

只能进行人脸。一旦人类戴上口罩，那就要重新调整算法。

当然，让单个智能体实现多种任务也是当前AI领域研究的热点。

最近，在强化学习和多任务学习算法上成绩最好的是DeepMind公司的一款名为

Agent57的智能体——该智能体在街机学习环境（ALE）数据集所有57个雅达利游戏中

实现了超越人类的表现。当然，多任务学习不止用在游戏策略上。

相对于现阶段的AI，我们人类才是能够进行多任务学习的高手。我们既不需要学习成千上

万的数据样本就可以认识某类事物，我们又不用针对每一类事物都从头学起，而是可以触

类旁通地掌握相似的东西。

AI在单体智能上面确实可以轻松碾压人类，比如可以识别成千上万的人脸；但AI在多任

务学习上面就要向人类的这种通用能力看齐了。

一、什么是多任务学习

多任务学习（Multi-TaskLearning，MTL），简单来说：就是一种让机器模仿人类学习

行为的一种方法。

人类的学习方式本身就是泛化的，也就是可以从学习一种任务的知识迁移到其他的相关的

任务上，而且不同的任务的知识技能可以相互帮助提升。

多任务学习涉及多个相关的任务同时并行学习，梯度同时反向传播，利用包含在相关任务

训练信号中的特定领域的信息来改进泛化能力。

（单任务学习和多任务学习的模型对比示意）

做一个形象的类比：我们知道人类不如虎豹擅跑，不如猿猴擅爬，也不如鲸豚擅游；但是

人类是唯独可以同时做到奔跑、攀援和游泳的。用在人工智能和人类智能上，我们通常认

为AI更擅于在单一任务上表现优异并超越人类专家，如AlphaGo一样；而人类则可能在

各种任务上都能胜任。

MTL正是要让人工智能来实现人类的这种能力：通过在多个任务的学习中，共享有用的

信息来帮助每个任务的学习都得到提升的一个更为准确的学习模型。

这里需要注意的是多任务学习和迁移学习的区别：迁移学习的目标是将知识从一个任务迁

移到另一个任务，其目的是使用一个或多个任务来帮助另一个目标任务提高，而MTL则

是希望多个任务之间彼此能相互帮助提升。

二、了解MTL

1.MTL的两个特征

1）是任务具有相关性。

任务的相关性是说几种任务的完成模式是存在一定的关联性的，比如，在人脸识别中，除

了对人脸特征的识别，还可以进行性别、年龄的估算识别，或者，在不同的几类游戏中识

别出共通的一些规则，这种相关性会被编码进MTL模型的设计当中。

2）是任务有不同的分类。

MTL的任务分类主要包括监督学习任务、无监督学习任务、半监督学习任务、主动学习

任务、强化学习任务、在线学习任务和多视角学习任务，因此不同的学习任务对应于不同

的MTL设置。

共享表示和特征泛化.

2.理解MTL优势的两个关键

1）为什么在一个神经网络上同时训练多个任务的学习效果可能会更好？

我们知道，深度学习网络是具有多个隐层的神经网络，逐层将输入数据转化成非线性的、

更抽象的特征表示。

而各层的模型参数不是人为设定的，而是给定学习器的参数后在训练过程中学到的——这

给了多任务学习施展拳脚的空间，具备足够的能力在训练过程中学习多个任务的共同特征

。

例如在上面的MTL的网络中，后向传播并行地作用于4个输出。由于4个输出共享底部

的隐层，这些隐层中用于某个任务的特征表示也可以被其他任务利用，促使多个任务共同

学习。多个任务并行训练并共享不同任务已学到的特征表示，这样多任务信息就有助于共

享隐层学到更好的内部表示，这成为多任务学习的关键。

2）那么MTL是如何产生效果的？

MTL的方法中引入了归纳偏置（inductivebias）。

归纳偏置有两个效果，一个是互相促进，可以把多任务模型之间的关系看作是互相先验知

识，也称归纳迁移（inductivetransfer）。

有了对模型的先验假设，可以更好的提升模型的效果；另外一个效果是约束作用，借助多

任务间的噪声平衡以及表征偏置来实现更好的泛化性能。

首先，MTL的引入可以使得深度学