【模式识别与人工智能复习题】第四章-神经网络习题3.pptxVIP

第四章神经网络习题模式识别与人工智能授课教师：栾声扬汇报人：史珂源

第一题1第二题2CONTENTS第三题3

PART01第一题

请简述什么是ReLU和Leaky-ReLU，ReLU的优缺点，以及Leaky-ReLU如何解决ReLU存在的问题。ReLU：ReLU名为线性整流函数，又称为修正线性单元。ReLU是一个分段函数，图像如图1所示，由ReLU的函数图像可知，ReLU做的事情很简单：大于的数原样输出，小于的数输出。在处ReLU虽然不可导，但是也同样适合做激活函数。第四章神经网络第一题

请简述什么是ReLU和Leaky-ReLU，ReLU的优缺点，以及Leaky-ReLU如何解决ReLU存在的问题。Leaky-ReLU：Leaky-ReLU是基于ReLU的扩展，Leaky-ReLU的主要原理是当输入是小于的值时不再一味地输出，而是通过一个很小的斜率为的直线方程计算结果。第四章神经网络第一题

请简述什么是ReLU和Leaky-ReLU，ReLU的优缺点，以及Leaky-ReLU如何解决ReLU存在的问题。ReLU的图像如图1所示，Leaky-ReLU的图像如图2所示：第四章神经网络第一题图2LeakyReLU的函数图像图1ReLU函数图像

请简述什么