深度学习原理与TensorFlow实践 课件 第6章 单个神经元.pptx

;;课前回顾;神经元拟合原理;神经元的工作原理;神经元的工作原理;神经元拟合原理;正向传播;正向传播;神经元拟合原理;反向传播;反向传播;激活函数介绍;激活函数介绍;Sigmoid函数;Tanh函数;ReLU函数;常用激活函数的比较;ReLU函数（扩展）;ReLU函数（扩展）;ReLU函数（扩展）;ReLU函数（扩展）;Swish函数;本节小结;;;;课前回顾;Softmax算法与损失函数;Softmax算法;Softmax原理;TensorFlow中的实现;Softmax算法与损失函数;损失函数;常用损失函数;常用损失函数;（1）均值平方差（Mean Squared Error，MSE） 常见的几种代码实现： // 此处的logits代表观测数据的真实标签值，outputs代表预测值。 ;（2）交叉熵（Cross Entropy） Sigmoid交叉熵： Softmax交叉熵 ;Softmax算法与损失函数;交叉熵实验 假设有一个标签?和一个网络输出值?，要求编写代码完成下面三个要求： 将logits分别进行1次和2次Softmax，对比结果的区别。 将进行1次和2次Softmax处理的logits分别计算交叉熵，对比结果区别。 对做2次Softmax的结果进行自行组合公式计算交叉熵。;步骤一： 导入TensorFlow包并准备初始化数据;步骤二：使用TensorFLow提供的函数实现实验要求1，2，3的代码;步骤三：启动TensorFlow Session执行步骤二定义的计算;步骤四：查看程序运行的结果;One-Hot编码，又称为一位有效编码，主要是采用N位状态寄存器来对N个状态进行编码，每个状态都由他独立的寄存器位，并且在任意时候只有一位有效。 需要注意的是tf的one_hot编码中标签0代表的是1,0,0...而非0,0,0...;实验描述： 假设有一个标签 labels=[[0.4,0.1,0.5],[0.3,0.6,0.1]] 和一个网络输出值 logits=[[2,0.5,6],[0.1,0,3]] 计算logits的Softmax交叉熵;实验步骤：;实验描述： 假设有一个标签 labels=[2,1] 和一个网络输出值 logits=[[2,0.5,6],[0.1,0,3]] 计算logits的Softmax交叉熵;实验步骤：;实验描述： 分别对前面logits的Softmax交叉熵结果res1和logits的Softmax结果logits_softmax1计算loss值;实验步骤：;实验结果：;本节小结;;;;课前回顾;梯度下降算法;梯度下降算法简介;梯度下降算法简介;梯度下降算法简介;梯度下降算法简介;梯度下降算法简介;梯度下降算法;梯度下降函数;梯度下降函??;梯度下降算法;退化学习率;退化学习率;退化学习率;退化学习率;退化学习率;学习参数初始化;学习参数初始化;学习参数初始化;使用Maxout网络扩展单个神经元;Maxout简介;Maxout简介;Maxout网络的构建方法：通过reduce_max函数对多个神经元的输出来计算Max值，将Max值当作输入按照神经元正反传播方向进行计算。 通过上述方法构建Maxout网络，实现MNIST分类。 代码如下：;;;执行结果;本章小结;