第七章：人工神经网络 《数据挖掘与知识发现》 教学课件.pptVIP

2003-11-1 高等教育出版社 第七章：人工神经网络 7.1 人工神经元及人工神经网络模型 7.2 前向神经网络 7.3 反馈神经网络 7.4 自组织竞争神经网络模型 7.5 基于人工神经网络的数据挖掘 本章小结 人工神经网络简介 人工神经网络（Artificial Neural Network，简称ANN）是指由简单计算单元组成的广泛并行互联的网络，能够模拟生物神经系统的结构和功能。 组成神经网络的单个神经元的结构简单，功能有限，但是，由大量神经元构成的网络系统可以实现强大的功能。 人工神经网络在模式识别、计算机视觉、智能控制、信号处理、语音识别、知识处理、机器学习、数据挖掘等领域有着广泛的应用前景。 历史事件 最早的形式化神经元数学模型是M-P模型，由美国心理学家McCulloch和数理逻辑学家Pitts合作，于1943年提出。 1949年，心理学家Hebb提出Hebb学习规则。 1958年，计算机科学家Rosenblatt提出感知器（Perceptron）的概念，掀起人工神经网络研究的第一次高潮。 1982年，美国加州工学院的生物物理学家Hopfield提出Hopfield网络模型，这标志着神经网络研究高潮的再次兴起。 第七章：人工神经网络 7.1 人工神经元及人工神经网络模型 7.2 前向神经网络 7.3 反馈神经网络 7.4 自组织竞争神经网络模型 7.5 基于人工神经网络的数据挖掘 本章小结 M-P模型 M-P模型如图所示， M-P模型（续） 其中，Ii?{-1, 1}表示输入，Y?{-1, 1}表示输出，权值Wi?{-1, 1}表示输入的连接强度，正数权值表示兴奋性输入，负数权值表示抑制性输入。θ表示神经元兴奋时的阈值，当神经元输入的加权和大于θ时，神经元处于兴奋状态。神经元输出通过下式计算，其中，sgn为符号函数 人工神经元的形式化描述 人工神经元的数学模型如图所示 人工神经元的形式化描述（续） 其中ui为第i个神经元的内部状态，θi为神经元阈值，xj为输入信号，wji表示从第j个神经元到第i个神经元连接的权值。si表示第i个神经元的外部输入信号，上述假设可描述为： 常用的神经元状态转移函数 阶跃函数 准线形函数 Sigmoid函数 双曲正切函数 f (x)=th (x) 状态转移函数图像 人工神经网络的学习方式 死记式学习：网络连接权值根据特殊记忆模式设计而成，其值不变。在网络输入相关模式时，唤起对记忆模式的回忆，对输入模式进行相应处理。 有监督学习：网络将实际输出和教师指定的输出加以比较，得到在一定范数意义下的误差，由误差函数决定连接权值的调整，目的是使误差函数达到最小值。 无监督学习：网络的学习是自我调整的过程，不存在教师示教来指示网络输出是否正确。 有监督与无监督的混合学习：混合学习过程首先采用无监督学习抽取输入模式的特征，然后利用有监督学习方式对其进行处理，形成输入输出的某种映射。 第七章：人工神经网络 7.1 人工神经元及人工神经网络模型 7.2 前向神经网络 7.3 反馈神经网络 7.4 自组织竞争神经网络模型 7.5 基于人工神经网络的数据挖掘 本章小结 感知器 感知器（Perceptron）是由美国学者Rosenblatt于1957年提出的一个具有单层计算单元的神经网络。单层感知器神经网络如图所示，其中，输入向量为X=(X1, X2,…, Xn )，输出向量为Y=(Y1, Y2,…, Ym )。最简单的感知器仅有一个神经元。 感知器（续） 感知器的输入向量为X?Rn。权值向量为W?Rn，可以通过学习训练调整W。单元的输出为Y?{-1, 1}。其中， 若令Wn+1=θ，Xn+1=-1, 则有： 单层感知器的学习算法 初始化权值和阈值：用较小的随机非零值初始化Wi(0)。其中，Wi(t) (1≤i≤n) 为t时刻第i个输入的权值，Wn+1(t)为t时刻的阈值。 输入样本：X=(X1, X2,…, Xn, T )，T称为教师信号（即期望输出）。 计算网络的实际输出： 修正权值：Wi(t+1)=Wi(t)+η (T–Y(t))Xi ，i=(1, 2,…, n, n+1)其中，η?(0, 1)为学习率，用于控制修正速度。 转到步骤(2)重复执行，直到W对一切样本均稳定不变为止。 多层前向神经网络 多层前向神经网络有一个输入层、一个输出层和若干个隐层。输入样本送入输入层后，传递给第一隐层。第一隐层节点对输入信号求加权和后，利用转移函数进行处理。第一隐层的输出传递给下一隐层，各个隐层依次类推，最后一个隐层的输出作为输出层的输入，输出层给出输入样本的网络预测。有两个隐层的前向神经网络如图所示：