- 1、本文档共23页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
Going Deep For CV:
Optimization
计算机视觉深度学习入门五讲:优化篇
优化?什么优化?
CNN模型的一阶优化逻辑:Gradient Descent, Subgradient, SGD, BP
训练稳定性:Annealing + Momentum
抗拟合:从Dropout到Weight Decay
竞争优化器:RMSProp, Adadelta, Adagrad, ADAM
多机并行:Hogwild!
手动超参优化逻辑:
优化:往何处去
所有的机器学习问题
最终都是优化问题
有监督:优化预测准确率或者损失函数
无监督:优化类内方差、类间距离度量、信息压缩率
强化学习:时间轴上的综合收益
Gradient Descent
Subgradient
凸函数分段可微分时
What is Stochastic
反推法学习
人怎么学习?
不懂深度学习,我要先看深度学习的组成(结构/优化算法/数据)
不懂结构?看论文。不懂论文公式推导?看微积分/代数
不懂优化算法?看书和论文公式。
不懂数据?下载数据并用Python研究。不懂Python ?看例子上手写码
Back Propagation
『错误追责制』
Learning Rate: Annealing
lr = [0.1,0.01,0.001,0.0001]
Momentum/Nesterov
DropOut
Weight Decay
Rethink Weight Decay
Weight Decay: L2? L1?
Why Batch Normalization Works?
Is feature vector Gaussian?
Rethink Bilinear
竞争优化器:好/快
RMSProp
Adadelta
Adagrad
ADAM
竞争优化器
Hogwild!
A Lock-Free Approach to Parallelizing Stochastic
Gradient Descent. (Niu, 2011)
Asynchronous SGD
You should know …
SGD vs .SVRG
BSP(conventional)/ASP(asynchronous)/SSP (w./staleness)
Architectures: HDD/Web/PCI-E I/O
手动超参优化
DL穷三代,超参毁一生
实验设计: Repeatable Sensitivity / Ablation Study
可微分图: Gradient Descent/Back Propagation
组合优化: Genetic Algorithm
Design Of Experiments
参数空间:2^N ~ k^N
N比较小
Combinatorial Optimization
TSP 问题标准解法
定基因- 定评价-
[杂交- 优选-] *N -
Suboptimal
超参优化:向何处去
Google: AutoML
超参优化:向何处去
Reinforce Learning
What is: Max Reward Given Action Set on State
Imaginiation-Augmented Agents for Deep Reinforce Learning
Learning Model-based Planning From Scratch
Thanks For Attention
您可能关注的文档
- 寒假作业9-小学科学.pdf
- 计算机视觉深度学习入门五讲:数据篇.pdf
- 计算小达人六年级数学上册人教版.pdf
- 计算小达人五年级数学上册人教版.pdf
- 计算小达人四年级数学上册人教版.pdf
- 计算小达人一年级数学上册人教版.pdf
- 假期复习计划_rj_语文1年级(寒假)(1).pdf
- 假期复习计划_rj_语文2年级(寒假).pdf
- 假期复习计划_rj_语文3年级(寒假).pdf
- 假期复习计划_rj_语文5年级(寒假).pdf
- 英语人教PEP版八年级(上册)Unit4+writing+写作.pptx
- 人美版美术四年级(上册)8 笔的世界 课件 (1).pptx
- 人美版美术七年级(上册)龙的制作.pptx
- 英语人教PEP版六年级(上册)Unit 2 第一课时.pptx
- 数学苏教版三年级(上册)3.3 长方形和正方形周长的计算 苏教版(共12张PPT).pptx
- 音乐人教版八年级(上册)青春舞曲 课件2.pptx
- 音乐人教版四年级(上册) 第一单元 音乐知识 附点四分音符|人教版.pptx
- 英语人教PEP版四年级(上册)Unit 6 Part B let's learn 1.pptx
- 道德与法治人教版二年级(上册)课件-3.11大家排好队部编版(共18张PPT).pptx
- 人美版美术七年级(上册)《黄山天下奇》课件1.pptx
文档评论(0)