深度学习入门与实践 第三章 浅层神经网络.pptVIP

浅层神经网络《深度学习入门与实践》深度学习入门与实践 计算损失函数损失函数的计算流程深度学习入门与实践 神经网络的简单结构神经网络示意图输入特征 x1、 x2、 x3 被竖直地堆叠起来,这叫做神经网络的输入层, 它包含了神经网络的输入。 这里还有另外一层, 称为隐藏层 。 最后一层只由一个节点构成, 而这个只有一个节点的层被称为输出层,它负责产生预测值。深度学习入门与实践 激活函数四种不同的激活函数示意图sigmoid 激活函数: 除了输出层是一个二分类问题, 其余情况基本不会用它。 tanh 激活函数: tanh 非常优秀, 几乎适合所有场合。 ReLu 激活函数: 最常用的默认函数, 如果不确定用哪个激活函数, 那么就使用 ReLu 或者 Leaky ReLu。 深度学习入门与实践 随机初始化对于逻辑回归, 将权重初始化为 0 也是可以的。 但是对于一个神经网络, 如果把权重或者参数都初始化为 0, 那么梯度下降将不会起作用。 深度学习入门与实践