机器学习-课件汇总 第9--18讲 神经网络和深度学习---深度生成模型-3.pptx

机器学习

MachineLearning

;整流线性激活函数

(RectifiedLinearUnit:ReLU;常用激活函数比较;激活函数收敛速度比较

本例：4层网络，ReLU和Tanh激活比较，

达到25%训练误差，ReLU激活快6倍[Krizhevsky];卷积网络（ConvolutionalNeuralNetwork：CNN）;一个完整卷积神经网络的示例;CNN近期重新得到极大关注的例子;连续情况;卷积运算（续）;二维卷积

运算

示意图;卷积运行（第一行）示例（有效卷积）;稀疏连接示意：从下向上看

CNN网络：权系数稀疏性;稀疏连接示意：从上向下看;随层数增加，一个输出对应