深度学习及其优化方法课件.pptVIP

深度学习(DeepLearning)及其优化方法

报告人:胡海根

E-mail:hguzjut.edu

浙江工业大学计算机学院

Outline

深度学习基本介绍

LossFunction一般形式及数学概念

深度学习梯度优化方法

深度学习优化方法

2/25

深度学习的概念

◆什么是deeplearning?输出

深度学习:一种基于

无监督特征学习和特征层

次结构的学习方法。

本质:通过构建多隐aQ8

层的模型和海量训练数据

来学习更有用的特征,从

OooO

而最终提升分类或预测的

准确性。

输又是O6

◆含多隐层的多层感知器

含多个隐层的深度学习模型

就是一种深度学习结构

3/25

DL训练过程

◆深度学习的基本思想

对于DeepLearning,需要自动地学习特征,假设有一堆输

入I,输出是O,设计一个系统S(有n层),形象地表示为:

Ⅰ=S1=S2=.…-=Sn=O,通过调整系统中参数,使得它

的输出仍然是输入I,那么就可以自动地获取得到输入I的

系列层次特征,即S1,…,Sn

◆用自下而上的无监督学习

1)逐层构建单层神经元。

2)每层采用wake-slep算法进行调优。每次仅调整一层,

逐层调整。

code

econstruction

encoder

decode

Error

4/25

DL训练过程

◆第二步:自顶向下的监督学习

这一步是在第一步学习获得各层参数进的基础上,在最

顶的编码层添加一个分类器(如,SVM等),而后通过带

标签数据的监督学习,利用梯度下降法去微调整个网络参数

label

5/25

DL训练过程

◆深度学习的具体模型及方法:

◆1、自动编码器(AutoEncoder)

◆2、稀疏自动编码器(SparseAutoEncoder)

◆3、限制波尔兹曼机(Restrictedboltzmannmachine)

4、深信度网络(DeepbeliefNetworks)

◆5、卷积神经网络(ConvolutionalneuralNetworks)

6/25

自动编码器

◆1、自动编码器(AutoEncoder)

通过调整encoder和decoder的参数,使得重构误差最小,

就得到了输入input信号的第一个表示了,也就是编码

code了。

encoder

◆因为是无标签数据,所以误差的来源就是直接重构后与

原输入相比得到。

7/25

稀疏自动编码器

◆2、稀疏自动编码器(Sparseautoencoder)

AutoEncoder的基础上加上L1的Regularity限制(L1主要是约

束每一层中的节点中大部分都要为0,只有少数不为0),

就可以得到SparseAutoEncoder法

parity

Penalty

decoderFec

ror

◆如上图,其实就是限制每次得到的表达code尽量稀疏。因

为稀疏的表达往往比其他的表达要有效。

8/25

RBM

◆3、限制波尔兹曼机(RBM)

定义:假设有一个二部图,同层节点之间没有链接,

层是可视层,即输入数据层(v),一层是隐藏层(h),如果

假设所有的节点都是随机二值(0,1)变量节点,同时假设

全概率分布p(v,h)满足Boltzmann分布,称这个模型是RBM。

hiddenvariables

Bipartite

Structure

v

Imagevisiblevariables

9/25

RBM

◆给定隐层h的基础上,可视层的概率确定

P(vh)=IP(uilh)P(v=lh

1+exp(-∑;W/h;-b)

(可视层节点之间是条件独立的)

◆给定可视层v的基础上,隐层的概率确定:

P(hlv)=IIP(h,lvP(h,=llv)

1+exp(-∑:W;;-a)

◆给定一个满足独立同分布的样本集:D={1),v(2)…,vN},

我们需要学习参数=Wab

最大似然估计

L()=N∑gPv)-N

对最大对数似然函数求导,就可以得到L最大时对应的参数

W了。

al(0)

ow=Epatlu:h;]-Epeluvhjl-NWiy

10/25