【深度学习理论理论基础概述3100字】.docxVIP

1

深度学习理论理论基础概述

目录

深度学习理论理论基础概述 1

1.1深度学习概述 1

1.2自动编码器 2

1.3深度信念网络 3

1.4卷积神经网络 3

1.5小结 5

深度学习是学习样本信息的内在规律和说明水平的方法，因此从这些学习过程中获得的信息在解释文本、图像和声音等知识方面有很大的帮助。它的最终目标是改变机器，使其拥有与人类相似的分析性大脑，并能够识别像文本、图像和声音这样的信息。

1.1深度学习概述

深度学习是目前机器学习领域中最流行的分支，深度学习特别习惯于解决知识选项的深度提取问题124]。人工神经网络在管理一些相对简单的问题时，只需要2个神经元，其中一层负责输入信号，然后将其处理到另一层，因此另一层负责输出信号。然而在深度学习中，它不是一个简单的两层结构，在输入和输出层之间隐藏着几个线性或非线性神经元。在输入层和输出层之间隐藏着几个线性或非线性单元，它们将更多地对传入的知识进行处理。

深度学习的定义并不严格；简单来说就是一个多层网络结构模型的通用术语，是机器学习的一部分，它是机器学习的一个区域。它的基本特征是模仿大脑信息中的神经元传输和处理信息数据125]。如图1.1所示，神经网络的机器模型通常需要大量的互连节点，并具有以下两个特点。

(1)每一个节点都要解决备选相邻节点的加权输入值的一些缺点[25]。

(2)节点之间传输知识的强度是利用所谓的权重，因此，算法规则是通过连续的自学来调整的。通过连续的自我学习来调整策略的权重。

2

图1.1神经网络模型

深度学习的本质是通过多层非线性部分来表示抽象知识的一些特征，或者通过分层的非线性网络结构来表示一些很多复杂的功能。在图像处理中，就是通过超大范围的训练获得学习的图像选项深度学习就是通过超大范围的实验样本获得学习的图像选项。

目前，可以将深度学习的模型大致分成三类：

混合型结构：自动编码器等

生成型结构：深度信念网络(DeepBeliefNetwork,DBN)等。

区分型深度结构：卷积神经网络(ConvolutionalNeuralNetwork,CNN)等。之后我将会对这三种深度学习的主要模型进行介绍。

1.2自动编码器

传统的自动编码器可以被看作是一种信息的压缩算法程序，其算法程序由解码和编码两个部分组成，并包含一个对称结构。目前，自动编码器有2个主要的应用，主要的是数据去噪，还有一个是视觉图像和空间属性的还原。在可接受的空间属性和扫描次数限制方面，自动编码器将比PCA等技术学到更多的信息预测。图1.2是传统编码器的编码过程。

输入层隐藏层输出层

图1.2传统编码器的编码过程

下面的公式可以展现出此过程：

h?=σe(W?x+b?)

3

编码的偏置、权重表示为：b?、W?

解码的偏置、权重表示为：b?.W?

损失函数为：

基于梯度的传统方式可以作为自动编码器的训练过程。

传统的自编码器的目的是使输出尽可能地与输入相同，这可以完全通过学习2个常数函数来实现，然而这样的变形并没有任何意义，因为我们实际上关心的是隐含表达式，而不是特定的输出。所以，隐层表达被自动编码器的增强功能增加了很多约束，迫使输入与隐层表达产生区别。

1.3深度信念网络

深度信念网络本身是一个概率生成模型，与神经网络的正常判别模型不同，生成模型在观察和标签之间建立一个联合分布，评估每个P(观察标签)和P(标签观察),而判别模型只评估后者，即P(标签观察)。DBNs包含多层受限玻尔兹曼机，一个典型的网络结构如图1.3所示。这些网络单元”限制为一个普通层和一个隐藏层，各层之间有连接，但各层之间的单元没有连接。隐蔽层中的单元经过训练，可以捕捉到可见层中显示的高阶信息的相关性[26]。

DBNstructure

Hinton

Hintonetal.,2006h3

RBM

Hidden

h2

Directed

h1beliefnets

V

Visiblelayer一→

O

layers

图1.3深度信念网络结构

事实上，每个受限的玻尔兹曼机将被单独用作聚类器，副层由隐含层和普通层组成，前者可用于训练计算机文件，后者则用于特征检测。深度信仰网络由多层受限的玻尔兹曼机组成，每一层都是生成性和鉴别性模型。DBN被用来指导网络模型的利用，并以无监督的贪婪方式逐层获取权重。

1.4卷积神经网络

1.4.1卷积神经网络概念

纽约大学的YannLecun在1998年提出了CNN,它本质上是一个多