原创力文档- 1、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
- 2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 4、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 5、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 6、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 7、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
南昌SMP2016表示学习论坛
南昌 SMP 2016 表示学习论坛
表示学习：问题与挑战
邱锡鹏
复旦大学
2016年10月30日
/xpqiu
语义鸿沟：人工智能的挑战之一
? 底层特征 VS 高层语义
? 人们对文本、图像的理解无法从字符串或者图像
的底层特征直接获得
床前明月光，
疑是地上霜。
举头望明月，
低头思故乡。
邱锡鹏 (复旦大学) 表示学习：问题与挑战 2
Bengio, Yoshua, Aaron Courville, and Pascal Vincent.
Representation learning: A review and new perspectives.
IEEE transactions on pattern analysis and machine intelligence
表示学习 35.8 (2013): 1798-1828.
? 数据表示是机器学习的核心问题。
? 特征工程：需要借助人类智能
? 表示学习
? 如何自动从数据中学习好的表示
? 难点
? 没有明确的目标
邱锡鹏 (复旦大学) 表示学习：问题与挑战 3
什么是好的数据表示？
? 数据分布有很多个不同的潜在因子决定
? 分布式表示的假设
? 这些因子在不同任务中共享
? 目标：解构变化背后的潜在因子
? 尽可能解构更多的因子
? 尽可能少地丢失信息
? 万变不离其宗
? 发现多变性中的不变性
邱锡鹏 (复旦大学) 表示学习：问题与挑战 4
传统的特征提取
? 特征提取
? 线性投影（子空间）
? PCA、LDA
? 非线性嵌入
? LLE、Isomap、谱方法
? 自编码器
? 特征提取VS表示学习
? 特征提取：基于任务或先验对去除无用特征
? 表示学习：解构潜在因子
邱锡鹏 (复旦大学) 表示学习：问题与挑战 5
表示学习与深度学习
? 一个好的表示学习策略必须具备一定的深度
? 特征重用
? 指数级的表示能力
? 抽象表示与不变性
? 抽象表示需要多步的构造
/2008/11/24/concrete-and-abstract-representations-using-
mathematical-tools/
邱锡鹏 (复旦大学) 表示学习：问题与挑战 6
表示学习与深度学习
邱锡鹏 (复旦大学) 表示学习：问题与挑战 7
图片来源：/takeda/past-presentfuture-and-
深度学习 ethics-of-artificial-intelligence
? 深度：输入到输出之间的路径（信用分配）
? 多层人工神经网络
? 层数大于1
? Schmidhuber: 10 is sure deep
? 表示学习
? 自动提取特征
1 billion connections
10 million
200x200 pixel
From Quoc Le, (ICML 2012)
邱锡鹏 (复旦大学) 表示学习：问题与挑战 8
深度学习
? 源于神经网络，走向人工智
文档评论（0）