大数据解析与应用导论-第8章 神经网络.pptxVIP

大数据解析与应用导论Introduction to Big Data Analytics and Application授课教师: 赵春晖.循环神经网络(RNN)卷积神经网络(CNN)应用实例基本概念与结构发展第八章 神经网络 8.1 神经网络基本概念及发展（1）什么是神经网络神经网络是由具有适应性的简单单元组成的广泛并行互联的网络，它的组织能够模拟生物神经系统对真实世界物体做出的交互反应。图 生物神经元模型2016年3月 AlphaGo大战李世石8.1 神经网络基本概念及发展（2）M-P 神经元模型?Sigmoid函数：?tanh函数：ReLU函数：?8.1 神经网络基本概念及发展（3）感知机与多层网络感知机模型：?假设激活函数是阶跃函数，令，=2时，仅当时，，实现了“与”运算令，时，当或时，，实现了“或”运算令，，时，当时，，当时，实现了“非”运算不能解决“异或”问题！8.1 神经网络基本概念及发展（3）感知机与多层网络两层感知机解决“异或”问题：8.1 神经网络基本概念及发展（4）多层前馈神经网络多层网络：包含隐层的网络前馈网络：神经元之间不存在同层连接也不存在跨层连接，即网络中无环或者回路只需要一个包含足够多神经元的隐层，多层前馈神经网络就能以任意精度逼近任意复杂度的连续函数8.1 神经网络基本概念及发展（5）误差逆传播算法?训练样本,神经网络输出?均方误差：BP算法基于梯度下降的策略??链式法则：?Sigmoid函数性质：8.1 神经网络基本概念及发展（5）误差逆传播算法???权重更新：8.1 神经网络基本概念及发展（5）误差逆传播算法输入：训练集，学习率过程：在(0,1)范围内随机初始化网络中所有连接权和阈值RepeatFor all do 根据当前参数计算当前样本输出 计算输出层神经元的梯度项 计算隐层神经元的梯度项 更新连接权阈值End forUntil 达到停止条件输出：连接权与阈值确定的多层前馈神经网络?8.1 神经网络基本概念及发展（6）神经网络的发展历史1985BP算法第二次兴起1969单层感知机作用有限AI winter1957感知机模型第一次兴起1960线性自适应单元20世纪90年代中期研究进入低谷2010至今自然语言处理、计算机视觉等领域的广泛使用1982Hopfield网络求解NP难问题1943MP模型1949Hebb学习规则大数据解析与应用导论Introduction to Big Data Analytics and Application授课教师: 赵春晖.循环神经网络(RNN)卷积神经网络(CNN)基本概念与结构发展应用实例第八章 神经网络 8.2 卷积神经网络（CNN）（1）CNN的提出卷积神经网络的概念是由猫的视觉系统实验得到的启发。当时科学家通过对猫的视觉皮层细胞研究发现，每一个视觉神经元只会处理一小块区域的视觉图像，即感受野（ receptive field ）。图像处理困难（以全连接神经网络为例）将图像展开为向量会丢失空间信息参数过多效率低下，训练困难大量的参数也很快会导致网络过拟合而CNN的出现很好地解决了上述问题/p/471845298.2 卷积神经网络（CNN）（2）CNN的结构 卷积层池化层全连接层特点：结构：8.2 卷积神经网络（CNN）（3）卷积层 卷积层是卷积神经网络的重要一层，相当于特征提取的过程。在卷积层中，前一层的特征图与若干卷积核卷积（要在训练过程中学习），加上偏置（要学习）后通过激活函数形成下一层的特征映射。在图像的处理中，通常是一个二维滤波器以一定的步长在整幅图像上滑动，不断卷积提取图像的局部特征，若干个滤波器得到一组不同的特征图。/@RaghavPrabhu/understanding-of-convolutional-neural-network-cnn-deep-learning1488.2 卷积神经网络（CNN）（3）卷积层padding一个典型的卷积层：并行计算多个卷积产生一组线性激活响应，每一个线性激活响应通过一个非线性的激活函数。Filter(3*3*1)若输入为32*32*1的像素的图片（手写字体识别），不填补0，过滤器尺寸为3*3*1，过滤器的个数为1，则卷积的输出为一个30*30的矩阵，共需要参数3*3+1=10个参数。若使用神经网络将其映射到(30*30)个神经元，则需要(32*32)*(30*30)+(30*30)=922500个参数。这仅仅是一层的参数。8.2 卷积神经网络（CNN）（3）卷积层使用不同的卷积核对图像进行卷积可以产生不同的效果，可以通过改变卷积核来执行诸如边缘检测，模糊和锐化之类的操作。右图显示了应用不同类型的卷积核后得到的各种卷积图像。8.2 卷积神经网络（CNN） Max Pool