《金融大数据分析》课件第13章 人工神经网络算法.pptxVIP

;【知识框架图】;;本章学习目标;需求背景;;1943年，心理学家W.S.McCulloch和数理逻辑学家W.Pitts建立了神经网络数学模型。他们通过该模型提出了神经元的形式化数学描述和网络结构方法，证明了单个神经元能执行逻辑功能，从而开创了人工神经网络研究的时代。

1958年，F.Rosenblatt提出了感知模型，该模型是由阈值神经元组成的，它试图模拟动物和人的感知和学习能力。;Minkey和Papert于1969年出版了《感知机》一书，提出感知机不可能实现复杂的逻辑函数，他们认为感知机的功能是有限的，不能解决如XOR这样的基本问题，而且多层的网络还不能找到有效的计算方法，进而否定了这一模型。

直到1986年，Rumelhart及LeCun等学者提出了多层感知器的反向传播算法，克服了当初阻碍感知机继续发展的重要障碍。

与此同时，冯诺依曼机在处理视觉、听觉、联想记忆都方面都体现出了局限性，促使人们开始寻找更加接近人脑的计算模型，于是又产生了对神经网络研究的热潮。;神经元模型与单层神经网络：人工神经网络中最基本的成分是神经元模型，由W.S.McCulloch和W.Pitts发布的，也称为“MP神经元模型”，该模型如图13-3所示：;?;多层人工神经网络模型：感知器本质上是一个若干各权重与信号乘积的线性组合，无法解决非线性问题。在此基础上加入隐含层，发展出了多层感知器，也称为多层神经网络，其模型结构如图13-4所示。多层神经网络由于加入了隐含层，模型的表达能力增强，可以灵活的应用于分类、聚类和回归问题，;图13-4所示的神经网络中最左边的一层的为输入层，包含4个神经元的输入，中间的一层为隐含层，包含4个神经元，最后一层为输出层。输入层的神经元作为隐含层的输入，同时隐含层的神经元也是输出层神经元的输入，因此这也称为前馈神经网络。;输入层的节点数要与特征的维度进行匹配，隐含层的节点数是要人为设置的，输出层的节点数要与目标的维度进行匹配。

假设输入层特征的输入数据为矩阵X(1)，权重为矩阵W(1)，偏置值为向量θ(1)；隐含层神经元的值为矩阵X(2)，权重为矩阵W(2)，偏置值为向量θ(2)；输出为向量y，f为激活函数，最终输出y的推导公式如下：;神经网络实际上就是将多个感知机进行组合，用不同的方法进行连接并作用在不同的激活函数上。

激活函数f一般使用Sigmoid函数或tanh函数。

Sigmoid函数定义为：

;之所以选择Sigmoid函数，主要是因为它的函数图像和正态高斯分布的分布函数图像非常接近，如图13-5所示。;日常生活中的大多数现象，都是符合正态分布的。以神经元的反应来说，低于阈值太多，刺激不够强，感受不到；超出阈值太多，刺激太强，感受也会出错(生物可能会昏厥或休克)；而在一个区间内，感受和刺激强弱基本成正比。这正好符合正态分布和Sigmoid函数图像。

Sigmoid函数的另一个好处是计算比较简单，降低了算法计算开销。;通过参数与激活函数来拟合特征与目标之间的真实函数关系，使得预测与真实模型逼近。

使用损失函数来评价模型拟合的程度，最小平方误差准则（MSE）是其中的一个常用的损失函数：

其中，G是构建的模型：输入矩阵X输出一个预测值G(X)。yi为目标值。当预测值G(X)和目标值Y的欧式距离越大，损失就越大，反之越小。

通过优化模型参数，让损失函数的值达到最小。;神经网络常用的一阶优化算法是梯度下降：在一个方向上更新和调整模型的参数，对神经网络模型中权重进行更新，获得损失函数的最小值。权重和偏置的更新规则：

其中，L为损失函数。η称为学习率，作用是如果损失函数使用的是均方差，那么当预测值与实际值偏差比较大时，均方差的值将会非常大,可能会造成损失函数出现大幅度的偏移，因此η用来调整搜索的步长。;在人工神经网络模型中，对损失函数用梯度下降法进行迭代优化求极小值的过程使用的是BP（BackPropagation，反向传播）神经网络算法。BP算法由信号的正向传播与误差的反向传播两部分组成。正向传播即信号由网络的输入层经隐层传递至输出层，得到网络的输出。若实际输出与期望输出不一致，则传入误差反向传播阶段。在反向传播阶段，将输出误差经由隐含层向输入层反传，从而获得各层各节点的误差信号，依此信号对网络连接权值进行调整。

反复执行信号的正向传播与误差的反向传播，直至网络输出误差小于预先设定的阈值，或进行到预先设定的学习次数为止。;;;;;;;;;;;;;;;;;;;;;;;;;;;;本章小结;重要概念;复习思考题;