深度学习基础与实践 课件 单元五 Pytorch实现深度网络.pptx

模型定义

Pytorch实现深度学习模型步骤01训练的基本步骤思想分为四大步骤：数据处理：包括对训练数据集的预处理，以及读取数据集。模型构建：包括网络模型以及前向传播过程的设计。定义优化方法：包括代价函数和优化器。模型训练：包括定义模型训练次数，显示训练信息等功能。 图1.深度学习模型训练流程图

Pytorch实现深度学习模型步骤01深度学习步骤示例：图片来源：/video/BV1Y7411d7Ys?from=searchamp;amp;amp;amp;amp;seid=3765076366663992699第1步准备数据集（包括数据集的读取和数据集的预处理），此处定义了两个张量。第2步设计网络模型并定义网络结构，此处定义了一个逻辑回归模型，需要注意的是必须继承torch.nn.Module父类，这样才具有必须的变量和方法。第3步定义模型损失函数与优化器。第4步定义训练循环过程（包括前向传播，反向传播，更新网络参数）。每个深度模型都离不开这基本的四步，只有掌控全局，才能更加深入理解每一步具体内容。

Pytorch实现深度学习模型步骤01数据处理模块，即数据集的准备。这一环节在实际情况下要复杂得多，可以想像深度学习处理的数据集多种多样：有文本数据集、图像数据集、视频数据集、语音数据集等。对于每种数据类型，它们处理方式是不同的。常用的数据预处理方法包含如下几种：（1）归一化数据归一化也即0-1标准化，又称最大值-最小值标准化，核心要义是将原始指标缩放到0-1之间的区间内。相当于对原变量做了一次线性变化。这对后续的处理十分重要，因为很多默认参数（如PCA-白化中的epsilon）都假定数据已被缩放到合理区间。其公式为EX=(x-min)/(max-min)数据处理模块

Pytorch实现深度学习模型步骤01（2）逐样本均值消减如果你的数据是平稳的（即数据每一个维度的统计都服从相同分布），那么你可以考虑在每个样本上减去数据的统计平均值(逐样本计算)。本质上讲，均值消减就是去掉信号中的直流分量，从而，相对放大携带更大信息量的交流成分。计算公式为对于图像，这种归一化可以移除图像的平均亮度值(intensity)。很多情况下我们对图像的照度并不感兴趣，而更多地关注其内容，这时对每个数据点移除像素的均值是有意义的。注意：虽然该方法广泛地应用于图像，但在处理彩色图像时需要格外小心，具体来说，是因为不同色彩通道中的像素并不都存在平稳特性。数据处理模块?

Pytorch实现深度学习模型步骤01（3）特征标准化特征标准化指使得数据具有零均值和单位方差的过程。在深度学习中，特征标准化根据对象的不同，分为四类：批标准化（BatchNormalization），层标准化（LayerNormalization），实例标准化（InstanceNormalization），组标准化（GroupNormalization）。数据处理模块?图片来源：/pean(x),Var(x)分别表示数据x的均值和标准差。

Pytorch实现深度学习模型步骤01模型构建模块不同问题，网络模型选择是不同的，对监督学习问题，常见的网络模型包括：DNN（深度神经网络）；RNN(循环神经网络）；CNN(卷积神经网络）；对无监督学习，最常见有生成对抗网络（GAN）；自编码器（Auto-encoder)。深度神经网络DNN:就实质上来说，就是全连接的前馈深度神经网络，因此主要的应用场景是分类（Classification)任务，比如数字识别等，由于是纯粹的全连接网络，因此应用性并不是很强。循环神经网络（RNN):主要用于处理有序的问题，比如时间序列等，由于RNN有“记忆”能力，可以“模拟”数据间的依赖关系。RNN有很多种变形，其中最著名的是LSTM，总的来说RNN可以解决语音分析，文字分析，时间序列分析。主要的重点就是分析数据之间存在的前后依赖关系。

Pytorch实现深度学习模型步骤01模型构建模块自编码器（Auto-encoder):主要由两部分组成：1、编码器（Encoder)2、解码器（Decoder)。将输入数据，通过编码器与解码器，我们得到了重构的结果，自编码器的重点是低维的压缩表示，主要用于降维和去除噪声等领域。卷积神经网络CNN:占据了深度学习的半壁江山，它在深度学习的地位举足轻重，CNN的精髓是在多个空间位置上共享参数，模拟人的视觉系统。主要适用于处理图片，视频等大部分格状结构化数据。

Pytorch实现深度学习模型步骤01模型构建模块生成对抗网络（GAN):由两个网络组成，一个是生成网络用于生成图片使其与训练数据相似，另一个是判别式网络用于判别图片是否是训练数据还是伪装的数据。GAN主要在图像领域流行，并