SPSS Modeler数据挖掘方法及应用（第4版） 课件 第8--14章 SPSS Modeler的人工神经网络---SPSS Modeler的聚类分析.pptx

SPSSModeler数据挖掘方法及应用(第4版)第八章SPSSModeler的人工神经网络

第8章SPSSModeler的人工神经网络神经网络起源于生物神经元的研究，研究对象是人脑。人脑是一个高度复杂的非线性并行处理系统，具有联想推理和判断决策的能力。对人脑活动机理的研究一直是一种挑战

第8章SPSSModeler的人工神经网络人工神经网络的概念和种类人脑类似，人工神经网络由相互连接的神经元，也称处理单元组成。如果将人工神经网络看作为一张图，则处理单元也称为节点。节点之间的连接称为边，反映了各节点之间的关联性，关联性的强弱体现在边的权值上。人工神经网络的种类繁多，可以从拓扑结构和连接方式等角度划分。二层网络和多层网络

第8章SPSSModeler的人工神经网络人工神经网络的概念和种类人工神经网络中的处理单元通常按层次分布于神经网络的输入层、隐层和输出层中，因而又分别称为输入节点、隐节点和输出节点。其中：输入节点负责接收和处理训练样本集中各输入变量值。输入节点的个数取决于输入变量的个数。隐节点负责实现非线性样本的线性变换，隐层的层数和节点个数可自行指定。输出节点给出关于目标变量的分类预测结果，输出节点个数依具体问题而定。

第8章SPSSModeler的人工神经网络人工神经网络的概念和种类人工神经网络连接包括层间连接和层内连接，连接强度用权值表示。根据层间连接方式，神经网络可分为：前馈式神经网络：前馈式神经网络的连接是单向的，上层节点的输出是下层节点的输入。B-P（Back-Propagation）反向传播网络和Kohonen网络都属于前馈式神经网络。目前数据挖掘软件中的神经网络大多为前馈式神经网络。反馈式神经网络：除单向连接外，输出节点的输出又作为输入节点的输入。如Hopfield网络，包括离散型反馈神经网络DHNN（DiscreteHopfieldNeuralNetwork）和连续型反馈神经网络CHNN（ContinuousHopfieldNeuralNetwork）等。

第8章SPSSModeler的人工神经网络人工神经网络中的节点和意义

第8章SPSSModeler的人工神经网络人工神经网络中的节点和意义加法器激活函数[0,1]阶跃函数

第8章SPSSModeler的人工神经网络人工神经网络中的节点和意义激活函数(0,1)型Sigmoid函数

第8章SPSSModeler的人工神经网络人工神经网络中的节点和意义节点1：加法器U：1×0.2＋0.5×0.5=0.45；激活函数：y1=f(0.45)＝0.61；节点2：加法器U：1×(－0.6)＋0.5×(－1.0)=－1.1；激活函数：y2=f(－1.1)＝0.25；节点3：加法器U：0.61×1.0＋0.25×(－0.5)=0.735；激活函数：y3=f(0.735)＝0.68。

第8章SPSSModeler的人工神经网络人工神经网络中的节点和意义节点将起到一个超平面的作用如何定位一个超平面：网络权值非常关键，它能够描述超平面，区分不同的超平面。由于超平面的最终目标是正确划分样本观测点，为此应找到该目标下的最恰当的网络权值。通常，由随机的网络权值所确定的超平面无法实现既定目标，所以，神经网络需要不断向训练样本学习，进而不断调整网络权值，使超平面不断向正确的方向移动，以最终定位到期望的位置上。节点中激活函数的作用是数值映射，它决定了超平面两侧的类别值，或者决定了取类别值的概率。

第8章SPSSModeler的人工神经网络人工神经网络建立的一般步骤第一，数据准备：第二，网络结构的确定：通常，神经网络的层数和每层的节点数决定了网络的复杂程度，其中的关键是隐层层数和隐层包含隐节点的个数。隐层层数和隐节点个数越多，网络的复杂程度也越高。第三，确定网络权值。

第8章SPSSModeler的人工神经网络第三，确定网络权值，基本步骤通常为：第一步，初始化网络权值一般网络权值的初始值默认为一个随机数，该随机数通常来自均值为0，取值范围是－0.5~0.5的正态分布。第二步，计算各处理单元的加法器和激活函数值，得到样本的分类预测值。第三步，比较样本的预测值与实际值并计算误差，根据误差值重新调整各网络权值。第四步，返回到第二步。网络权值的调整和相应的计算过程将反复进行，直到预测结果与目标变量实际值的误差达到一个较小值为止。此时，一组相对合理的网络权值便被确定下来，超平面也被确定下来。因此，网络权值的确定是一个不断迭代的过程。

第8章SPSSModeler的人工神经网络SPSSModeler的B-P反向传播网络：是一种前馈式多层的感知机感知机模型：感知机模型属于前馈式神经网络，它是一个相对简单的双层网络模型