《商业智能：方法与应用》课件第5章 人工神经网络和机器学习.pptx

5.1人工神经网络概述5.2BP神经网络目录ONTENTSC人工神经网络的产生和发展神经元结构BP算法BP神经网络简介实例5.3深度学习卷积神经网络深度学习概述循环神经网络

5.1人工神经网络概述人工神经网络的产生和发展神经元结构

5.1.1人工神经网络的产生和发展213人工神经网络类似于生物神经网络，是一种受人脑神经网络工作方式的启发而构造的一种数学模型。和人脑神经网络类似，人工神经网络时由人工神经元以及神经元之间的连接构成。人工神经网络中有两类特殊的神经元：一类用来接受外部的信息；一类负责输出信息。人工神经网络可以看作是信息从输入到输出的信息处理系统。

5.1.1人工神经网络的产生和发展心理学家W.S.McCulloch和数学家W.Pitts发表人工神经元模型，也称MP模型。计算机学家Rosenblatt提出了由两层神经元组成的神经网络“感知器”。Rumelhar和Hinton等人提出了反向传播算法。Hinton在《Science》和相关期刊上发表论文，首次提出“深度信念网络”的概念。从MP模型、单层神经网络（感知器）开始，到包含一个隐含层的两层神经网络，再到多层的深度神经网络，人工神经网络的发展一波三折，其发展历程见下页人工神经网络发展历程图。1943195819862006

5.1.1人工神经网络的产生和发展人工神经网络发展历程

5.1.2神经元结构人工神经网络是一种运算模型，由大量的节点（或称之为神经元）相互连接构成。目前人们提出的神经元模式已有很多，其中普遍使用的神经元结构是在MP模型基础上不断完善得到神经元模型，结构如下图。人工神经元结构?

5.1.2神经元结构?

阈值型激活函数?

非线型激活函数?

分段线型激活函数?

概率型激活函数?

5.1.2神经元结构?人工神经网络结构（考虑偏执节点）?

5.2BP神经网络BP神经网络简介BP算法实例

5.2.1BP神经网络简介1BP（BackPropagation）神经网络是一种按照误差逆向传播算法训练的多层前馈神经网络，具有任意复杂的模式分类能力和优良的多维函数映射能力，解决了单层感知器不能解决的异或问题。2从本质上讲，BP算法就是以误差平方和为目标函数，采用梯度下降法来计算目标函数的最小值。3BP神经网络的结构包含输入层、隐含层和输出层，隐含层可扩展为多层，相邻层之间各神经元进行全连接，即当前层的每一个神经元都与前一层的所有神经元连接，前一层的输出是当前层的输入，而每层各神经元之间无连接。

5.2.1BP神经网络简介BP神经网络结构BP神经网络分为信号的前向传播和误差的反向传播，输入变量键入输入层经隐含层由他们之间所对应的映射关系到达输出层得到输出变量。在信号的前向传播阶段，神经元间的传播不可逆，但如果输出变量与期望值的误差超过了允许的范围，这时误差讯号将进行反向传播，求出隐含层数值变量的误差，调整各层的权重或阈值。

5.2.2BP算法BP算法演示图?

5.2.2BP算法?

5.2.2BP算法?

5.2.2BP算法?

5.2.2BP算法优点解决方法缺点为人工神经网络的训练提供了简单而有效的实现途径。在多层次的人工神经网络中收敛速度较慢且容易陷入局部最优，不能同时对多个网络进行训练。目前，将多种优化算法相结合，通过对传统训练算法的取长补短，是将诸如BP神经网络这样的前馈神经网络应用到多个领域的一个有效手段。

5.2.3实例—数据来源训练目标：根据用户对以往产品的喜好程度即打分情况进行训练学习，从而逼近该用户对产品的偏好关系，帮助用户选择其他有可能感兴趣的产品，通过Movieslens数据库验证模型的有效性。数据来源：采用Movielens数据库中的1M数据集（下载地址为：/datasets/movielens/），主要使用Movies文件和Ratings文件。

5.2.3实例—数据来源Movies文件结构在Movies文件中，一共包含3列数据：第一列是每部电影的序号；第二列是电影名称和上映时间；第三列是电影类型，一共有18种电影类型，分别是Action、Adventure、Animation、Children’s、Comedy、Crime、Documentary、Drama、Fantasy、Film-Noir、Horror、Musical、Mystery、Romance、Sci-Fi、Thriller、War和Western。

5.2.3实例—数据来源在Ratings文件中，共有4列数据：第一列是用户序号；第二列是用户评价的电影序号；第三列是用户对电影的评分值，评分值是从1到5的整数，数值越高表明用户对该部电影喜欢的程度越高；第四列是时间戳，自1970年1月1日零点后到用户提交评价时间的秒数。Ratings文件结构

5