- 1、本文档共51页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
深度学习及其优化方法;Outline;深度学习的概念;DL训练过程;5/25;6/25;自动编码器;稀疏自动编码器;RBM;RBM;DBN;CNN;LossFunction一般形式;LossFunction一般形式;数学概念;数学概念;数学概念;优化方法;优化方法;优化方法;优化方法;优化方法;优化方法;优化方法;优化方法;优化方法;优化方法;优化方法;优化方法;优化方法;优化方法;此时,这个RMS就可以作为学习率的一个约束:
但克服了最速下降法收敛慢的缺点;
其中?x为列向量,A是n阶对称矩阵,b是n维列向量,c是常数。
进而可以求得出近似函数的全局最小值,然后将当前的最小值设定近似函数的最小值;
SGDwithmomentum
3、ConjugateGradients
SGD是最速梯度下降法的变种,每次只使用一个样本,迭代一次计算量为n2,当m很大的时候,随机梯度下降迭代一次的速度要远高于梯度下降:
对从1到进行一个递推形成一个约束项regularizer
因此,加上nesterov项后,梯度在大的跳跃后,进行计算对当前梯度进行校正。
将当前的最小值设定近似函数的最小值(或者乘以步长)。
RMSprop可以算作Adadelta的一个特例:
1、自动编码器(AutoEncoder)
此时Adadelta已经不用依赖于全局学习率了
对从1到进行一个递推形成一个约束项regularizer
、是对、的校正,这样可以近似为对期望的无偏估计。
对最大对数似然函数求导,就可以得到L最大时对应的参数W了。;优化方法-Momentum;优化方法-Momentum;优化方法-Nesterov;优化方法-Nesterov;优化方法-Adagrad;优化方法-Adagrad;优化方法-Adadelta;优化方法-Adadelta;优化方法-RMSprop;优化方法-RMSprop;优化方法-Adam;优化方法-Adam;优化方法-Adam;优化方法-Adamax;优化方法-Nadam;优化方法-Nadam;优化方法-Visualizationofalgorithms;如上图,其实就是限制每次得到的表达code尽量稀疏。
它利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率;
这个函数由m个实函数组成:
前期较小时候,regularizer较大,能够放大梯度;
当f(x)是下列形式:
不断在训练集中重复以上步骤,直到收敛。
此时Adadelta已经不用依赖于全局学习率了
选择n个训练样本(nm,m为总训练集样本数)
5、Mini-batchGradientDescent
在梯度改变方向的时候,能够减???更新;
如上图,其实就是限制每次得到的表达code尽量稀疏。
3、Jacobian矩阵
梯度下降需要把m个样本全部带入计算,迭代一次计算量为m*n2;优化方法-建议
您可能关注的文档
最近下载
- 辽宁省沈阳市皇姑区2023-2024学年七年级上学期期末英语试卷 .Doc VIP
- 接力版一年级音乐上册二《(演唱)升旗》教学设计.doc
- 《How to write and publish a SCI paper》.ppt
- 走进重高_培优讲义__数学__八年级__上册_(浙教版).pdf
- 常见的有趣的长颈鹿.ppt
- 屠呦呦介绍-TUYOUYOU英文课件 PPT精品课件.ppt
- 第4课+物联网展望(课件)七年级信息科技下册(浙教版2023).pptx VIP
- 营养护理相关知识竞赛试题与答案.pdf VIP
- 承包人实施计划.docx VIP
- 第14课《酬乐天扬州初逢席上见赠》课件(29张PPT)部编版语文九年级上册.pptx
文档评论(0)