- 1、本文档共8页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
本文介绍了AI多任务学习的定义、特征、优势和应用场景,表达AI多任务学习的发展
要向人类看齐。
提到AI领域的多任务学习,很多人可能一下子就想到通用人工智能那里了。通俗意义上
的理解:就像《超能陆战队》里的大白这样一种护理机器人,既能进行医疗诊断,又能读
懂人的情绪,还能像陪伴机器人一样完成各种复杂任务。
不过大白毕竟只是科幻电影当中的产物,现有的AI技术大多还处于单体智能的阶段,也
就是一个机器智能只能完成一项简单任务。
工业机器人中做喷漆的就只能用来喷漆;做搬运的只能用来搬运;识别人脸的智能摄像头
只能进行人脸。一旦人类戴上口罩,那就要重新调整算法。
当然,让单个智能体实现多种任务也是当前AI领域研究的热点。
最近,在强化学习和多任务学习算法上成绩最好的是DeepMind公司的一款名为
Agent57的智能体——该智能体在街机学习环境(ALE)数据集所有57个雅达利游戏中
实现了超越人类的表现。当然,多任务学习不止用在游戏策略上。
相对于现阶段的AI,我们人类才是能够进行多任务学习的高手。我们既不需要学习成千上
万的数据样本就可以认识某类事物,我们又不用针对每一类事物都从头学起,而是可以触
类旁通地掌握相似的东西。
AI在单体智能上面确实可以轻松碾压人类,比如可以识别成千上万的人脸;但AI在多任
务学习上面就要向人类的这种通用能力看齐了。
一、什么是多任务学习
多任务学习(Multi-TaskLearning,MTL),简单来说:就是一种让机器模仿人类学习
行为的一种方法。
人类的学习方式本身就是泛化的,也就是可以从学习一种任务的知识迁移到其他的相关的
任务上,而且不同的任务的知识技能可以相互帮助提升。
多任务学习涉及多个相关的任务同时并行学习,梯度同时反向传播,利用包含在相关任务
训练信号中的特定领域的信息来改进泛化能力。
(单任务学习和多任务学习的模型对比示意)
做一个形象的类比:我们知道人类不如虎豹擅跑,不如猿猴擅爬,也不如鲸豚擅游;但是
人类是唯独可以同时做到奔跑、攀援和游泳的。用在人工智能和人类智能上,我们通常认
为AI更擅于在单一任务上表现优异并超越人类专家,如AlphaGo一样;而人类则可能在
各种任务上都能胜任。
MTL正是要让人工智能来实现人类的这种能力:通过在多个任务的学习中,共享有用的
信息来帮助每个任务的学习都得到提升的一个更为准确的学习模型。
这里需要注意的是多任务学习和迁移学习的区别:迁移学习的目标是将知识从一个任务迁
移到另一个任务,其目的是使用一个或多个任务来帮助另一个目标任务提高,而MTL则
是希望多个任务之间彼此能相互帮助提升。
二、了解MTL
1.MTL的两个特征
1)是任务具有相关性。
任务的相关性是说几种任务的完成模式是存在一定的关联性的,比如,在人脸识别中,除
了对人脸特征的识别,还可以进行性别、年龄的估算识别,或者,在不同的几类游戏中识
别出共通的一些规则,这种相关性会被编码进MTL模型的设计当中。
2)是任务有不同的分类。
MTL的任务分类主要包括监督学习任务、无监督学习任务、半监督学习任务、主动学习
任务、强化学习任务、在线学习任务和多视角学习任务,因此不同的学习任务对应于不同
的MTL设置。
共享表示和特征泛化.
2.理解MTL优势的两个关键
1)为什么在一个神经网络上同时训练多个任务的学习效果可能会更好?
我们知道,深度学习网络是具有多个隐层的神经网络,逐层将输入数据转化成非线性的、
更抽象的特征表示。
而各层的模型参数不是人为设定的,而是给定学习器的参数后在训练过程中学到的——这
给了多任务学习施展拳脚的空间,具备足够的能力在训练过程中学习多个任务的共同特征
。
例如在上面的MTL的网络中,后向传播并行地作用于4个输出。由于4个输出共享底部
的隐层,这些隐层中用于某个任务的特征表示也可以被其他任务利用,促使多个任务共同
学习。多个任务并行训练并共享不同任务已学到的特征表示,这样多任务信息就有助于共
享隐层学到更好的内部表示,这成为多任务学习的关键。
2)那么MTL是如何产生效果的?
MTL的方法中引入了归纳偏置(inductivebias)。
归纳偏置有两个效果,一个是互相促进,可以把多任务模型之间的关系看作是互相先验知
识,也称归纳迁移(inductivetransfer)。
有了对模型的先验假设,可以更好的提升模型的效果;另外一个效果是约束作用,借助多
任务间的噪声平衡以及表征偏置来实现更好的泛化性能。
首先,MTL的引入可以使得深度学
文档评论(0)