迁移学习的分类方法二.pdfVIP

一 迁移学习简介 二 迁移学习的分类方法 三 代表性研究工作 四 问题与展望 五 迁移学习资源 一 迁移学习简介 • 定义与概念 • 迁移学习 vs 传统机器学习 • 与其他概念的对比 迁移学习将会是引领下一次机器学习热潮的驱动力。——吴恩达,NIPS 2016 • 什么是迁移学习？ – 心理学角度 ：人们利用之前的经验和知识进行推理和学习的 能力。 – 机器学习角度 ：一个系统将别的相关领域中的知识应用到本 应用中的学习模式。[DARPA] – 举例：C++Java ；骑自行车骑摩托车 – 关键词：举一反三 • 迁移学习要解决的问题： – 给定一个研究领域和任务，如何利用相似领域进行知识的迁 移，从而达成目标？ • 为什么要进行迁移学习？ – 数据的标签很难获取 对已有知识的重用是必要的 – 从头建立模型是复杂和耗时的 • 迁移学习vs 传统机器学习 传统机器学习 迁移学习 数据分布 训练和测试数据同分布 训练和测试数据不需要同分布 数据标签 足够的数据标注 不需要足够的数据标注 建模 每个任务分别建模 可以重用之前的模型 传统机器学习 迁移学习 • 与其他概念的对比 – Life-long learning (终身学习) :连续不断地在一个域上学习 – Multi-task learning (多任务学习) ：两个任务同时完成 – Domain adaptation (域适配) ：迁移学习的子类 – Incremental learning (增量学习) ：一个域上的不断学习 – Self-taught learning (自我学习) ：从自身数据中学习 – Covariance shift (协方差漂移) ：迁移学习的子类 – …… • 迁移学习与其他已有概念相比，着重强调学习任务之间的 相关性 ，并利用这种相关性完成知识之间的迁移。 • 迁移学习常用概念 – Domain (域) ：由数据特征和特征分布组成，是学习的主体 • Source domain (源域) ：已有知识的域 • Target domain ( 目标域) ：要进行学习的域 – Task (任务) ：由目标函数和学习结果组成，是学习的结果 • 迁移学习的形式化定义 – 条件：给定一个源域 和源域上的学习任务 ，目标域 和目标域上的学习任务 – 目标：利用 和 学习在目标域上的预测函数 。 – 限制条件： 或 • 应用领域 迁移学习 二 迁移学习的分类方法 • 按迁移情境 • 按特征空间