原创力文档- 1、本文档共110页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 5、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 6、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
深度学习
第2讲：深度学习基础
目录
1课程回顾
2线性代数
3概率和信息论
4深度学习中的数值计算
5机器学习基本知识
回顾:课程目标
•在现实世界的不同任务和数据集合的背景下，初步了解
深度学习这样一种代表性的多变量数据分析方法
•理解深度学习算法的原理
•如何将现实任务抽象为学习的问题
•怎样利用现有工具来实现设计的模型
•了解对于不同类型的问题，哪类具体学习方法更加合适
回顾:课程要求
•课堂讲授(3小时/周)+课程设计作业+文献阅读
•最终成绩=50%期末考试+25%课程设计作业+25%文
献阅读
•课程设计作业需要分组进行，每组原则上要求5-10人，最终
需要提交按照规范格式完成的技术报告
•课程设计包含presentation环节，鼓励大家主动申请进行报
告（有加分），如最终申请人数较少，将采取随机抽签的方
式进行
回顾:深度学习
回顾:深度神经网络(DNN)
•起源:
-1962–simple/complexcell,HubelandWiesel
-1970–efficienterrorbackpropagation,Linnainmaa
-1979–deepneocognitron,convolution,Fukushima
-1987–autoencoder,Ballard
-1989–convolutionalneuralnetworks(CNN),Lecun
-1991–deeprecurrentneuralnetworks(RNN),Schmidhuber
-1997–longshort-termmemory(LSTM),Schmidhuber
•缺陷:
参数量巨大→高计算复杂度
数据集规模有限→过拟合问题
回顾:视频分类
CNN:convolutionalneuralnetworks;RNN:recurrentneuralnetworks
3DConvolution,ICCV2015
Long-rangeVideosModelling,CVPR2015
Multi-resolutionCNN,CVPR2014Autoencoder-RNN,ICML2015
回顾:其他…
OpticalFlowPrediction,ICCV2015Cross-sceneCrowdCounting,CVPR2015
VideoGeneration,ICLR2016
在许多应用中均取得了最先进的性能
回顾:未来研究方向
◼大规模深度学习
–多GPU学习
–分布式系统
◼无监督/半监督视频特征学习
–实际应用中缺乏监督信息
◼多模态学习
–视频与其他数据模态密切相关，例如文本、音频
◼脑启发的深度学习模型
–传统的神经网络受到人类认知机制的启发
–未来可参考神经科学和脑科学领域的先进成果
目录
1课程回顾
2线性代数
3概率和信息论
4深度学习中的数值计算
5机器学习基本知识
关于本节内容
•不涉及所有线性代数知识
•聚焦于与深度学习最相关的知识
•更多的线性代数知识，可以参考GeorgiShilov所著
《LinearAlgebra》
标量（Scalars）
•用来定义向量空间域的一个元素，一个标量对应一个单
一的数值
•包括整数、有理数以及实数等
•我们用斜体来表示:
a,n,x
向量（Vectors）
•向量是一个一维数组:
文档评论（0）