《大数据》配套PPT之七：第6章 深度学习-医学课件.pptVIP

6.2人脑神经系统与深度学习 第六章 深度学习 3、神经网络的架构 of 65 * 一般的神经网络是层级结构，每层神经元与下一层神经元相互连接，同层神经元及跨层神经元之间相互无连接，每一层神经元的输出作为下一层神经元的输入，这种网络被称为前馈神经网络。 最左边的一层（第一层）称为输入层，其中的神经元称为输入神经元。最右边的一层（最后一层）称为输出层，其中的神经元称为输出神经元。中间一层则被称为隐藏层，既不是输入层也不是输出层。本例讨论的是只有一个输出和一个隐藏层。但是，在实际中神经网络可以有多个输出和多个隐藏层。这种多层网络有时被称为多层感知器。 三层神经网络示意图 6.2人脑神经系统与深度学习 第六章 深度学习 of 65 * 多层神经网络中除了输入层，每个神经元都是一个多输入单输出信息处理单元。如图所示，它表示了一个多层神经网络，需要注意，网络中所有连接都有对应的权重和偏置。但是图中只标记了三个权重 w1，w2， w3 。 多层神经网络示意图 6.2人脑神经系统与深度学习 第六章 深度学习 4、误差逆传播算法 of 65 * 多层网络的学习能力比单层感知机强得多，如果想要训练多层网络，误差逆传播（简称BP）是迄今为止最杰出的神经网络学习算法。BP是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。 梯度下降示意图 第六章　深度学习 6.1　概述 6.2　人脑神经系统与深度学习 6.3　深度神经网络 6.4 软硬件实现 全国高校标准教材《云计算》姊妹篇，剖析大数据核心技术和实战应用 of 65 * 6.5　手写体数字识别项目实例 6.6 深度学习应用 习题 6.3深度神经网络 第六章 深度学习 6.3.1整体架构 of 65 * 深度神经网络发展到今天，学术界已经提出了多种网络模型，其中影响力较大的有以下几种： 卷积神经 网络 包含三种类型的层，分别是卷积层、下采样层及全连接层。通过卷积核与上一层输出进行卷积作为卷积层的输出，这样可以达到权值共享的目的；下采样是在卷积层的基础上，在一个固定区域中采样一个点，使得整个网络具有一定的缩放、平移及形变不变性。 深度置信 网络 由若干层受限玻尔兹曼机及一个反向传播网络组成。深度置信网络的训练过程分为两步，首先利用贪婪算法无监督地训练每一层受限玻尔兹曼机，然后将上一步训练得到的数据作为网络初始值，利用BP算法有监督地训练整个网络。 循环神经 网络 该网络与传统前馈网络的区别在于，隐层的输入不仅包括输入层的数据，还包括前一时刻的隐层数据。这种结构的网络能有效处理序列数据，如自然语言处理。 6.3深度神经网络 第六章 深度学习 6.3.2卷积神经网络 of 65 * 局部感受区域 在卷积神经网络中，神经元只对视野中的某一区域产生响应，被称为局部感受区域。 权值 共享 一个卷积层中的所有神经元均由同一个卷积核对不同区域数据响应而得到的，即共享同一个卷积核。 降采样 一般在卷积层后面会进行降采样操作，对卷积层提取的特征进行聚合统计。 三个主要特点 6.3深度神经网络 第六章 深度学习 6.3.2卷积神经网络 of 65 * 局部感受区域 从大脑进行人脸识别的过程图可以看出，最底层是摄入的原始信息像素，往上逐渐组织形成一些边缘特征，再向上，边缘特征组合形成更有表现力的物体局部特征，如眼睛、耳朵等，到了最顶层，不同的高级特征组合起来，形成最终完整的人脸图像。 6.3深度神经网络 第六章 深度学习 6.3.2卷积神经网络 of 65 * 权值 共享 局部连接的卷积核会对全部图像数据进行滑动扫描，使得卷积层训练参数的数量急剧减少，提高了网络的泛化能力。此外，权值共享意味着一个卷积层中的神经元均在检测同一种特征，与所处位置无关，所以，具有平移不变性。 6.3深度神经网络 第六章 深度学习 6.3.2卷积神经网络 of 65 * 降采样 一般的做法是将前一层的局部区域值映射为单个数值，与卷积层不同的是，降采样区域一般不存在重叠现象。降采样简化了卷积层的输出信息，进一步减少了训练参数的数量，增强了网络的泛化能力。 6.3深度神经网络 第六章 深度学习 6.3.3深度置信网络 of 65 * 深度置信网络打破了深度神经网络难以训练的观点。 深度置信网络是一种生成模型，和传统神经网络相似，网络中存在若干隐藏层，并且同一隐藏层内的神经元没有连接，隐藏层间的神经元全连接。最上面两层间为无向连接，其中包含标签神经元，称为联合记忆层。其他层间为有向连接，自上而下为生成模型，指定输出。自下而上则为判定模型，可以用作图像识别等任务。 6.3深度神经网络 第六章 深度学习 6.3.4循环（递归）神经网络 of 65 * 循环神经网络 典型的前馈神经网络 最大的区