DATA MINING(CH6) 第6章 人工神经网络 《数据掘与知识发现》(第2版) 教学课件.ppt

第6章 人工神经网络 《数据挖掘与知识发现》(第2版) 吉林大学计算机科学与技术学院 李雄飞 绪 论 本章讨论人工神经网络的一般知识，讨论人工神经网络在数据挖掘领域的重要性。具体介绍如下几个方面的内容： 人工神经元与人工神经网络 前向神经网络 反馈神经网络 自组织竞争神经网络 基于人工神经网络的数据挖掘 引 言 人工神经网络（Artificial Neural Network，简称ANN）是指由简单计算单元组成的广泛并行互联的网络，能够模拟生物神经系统的结构和功能。 1943年提出最早的形式化神经元数学模型是M-P模型。 1949年提出通过改变神经元连接强度达到学习目的的Hebb学习规则。 1958年提出感知器（Perceptron）的概念。（第一次高潮） 1982年提出Hopfield网络模型，该模型可以用电路实现。（第二次高潮） 1985年提出BP算法、Boltzman机模型。 人工神经网络应用领域： 模式识别 计算机视觉 智能控制 信号处理 语音识别 知识处理 机器学习 数据挖掘 人工神经元及人工神经网络模型 (一)M-P模型 人工神经网络是由若干简单处理单元组成的广泛并行互联的网络，神经网络的基本处理单元是若干神经元（也称为处理单元或节点）。 最早的神经元模型是M-P模型。 其中，Ii?{-1, 1}表示输入， Y?{-1, 1}表示输出， 权值Wi?{-1, 1}为输入的连接强度， 正数权值表示兴奋性输入，负数权值表示抑制性输入。θ表示神经元兴奋时的阈值。 人工神经元及人工神经网络模型 (二)人工神经元的形式化描述 当神经元没有内部状态时，g(ui)=ui，h=f，yi=ui。 人工神经元及人工神经网络模型 常用的神经元状态转移函数： 1. 阶跃函数 2. 准线形函数 3. Sigmoid函数 4. 双曲正切函数 人工神经元及人工神经网络模型 （三）神经网络的分类 按网络性能 连续型网络 离散型网络 确定型网络 随机型网络（如，Boltzmann机） 按网络拓扑结构 前向神经网络（如，径向基函数神经网络） 反馈神经网络（如，Hopfield神经网络） 人工神经元及人工神经网络模型 （四）人工神经网络的学习方式 神经网络的学习过程是指网络权值的调整。 主要的学习方式： 1. 死记式学习 如，Hopfield网络。 2. 有监督学习 如BP算法。 3. 无监督学习 如，自组织特征映射网络。 4. 有监督与无监督的混合学习 前向神经网络 （一）感知器 单层感知器神经网络如图6.4所示，其中，输入向量为X=(X1, X2,…, Xn )，输出向量为Y=(Y1, Y2,…, Ym )。 只含一个神经元的感知器的输入向量为X?Rn。权值向量为W?Rn，可以通过学习训练调整W。单元的输出为Y?{-1, 1}。其中， 若令Wn+1=θ，Xn+1=-1, 则有： 前向神经网络 单层感知器的学习算法： (1) 初始化权值和阈值 用较小的随机非零值初始化Wi(0)。其中，Wi(t) (1≤i≤n) 为t时刻第i个输入的权值，Wn+1(t)为t时刻的阈值。 (2) 输入样本 X=(X1, X2,…, Xn, T )，T称为教师信号（即期望输出）。 (3) 计算网络的实际输出： (4) 修正权值 Wi(t+1)=Wi(t)+η (T–Y(t))Xi ，i=(1, 2,…, n, n+1) 其中，η?(0, 1)为学习率，用于控制修正速度。 η太大会影响Wi (t)的稳定 η太小会使Wi (t)的收敛速度太慢 (5) 转到步骤(2)重复执行，直到W对一切样本均稳定不变为止。 若函数f是线性可分的，则感知器的学习算法在有限次迭代后收敛。 前向神经网络 （二）多层前向神经网络的BP算法 多层前向神经网络有一个输入层、一个输出层和若干个隐层。 前向神经网络 BP算法描述： (1) 设定学习次数初值t=0；用小的随机数初始化网络权值和阈值，Wij(t)?[-1, 1]，Wjk(t)?[-1, 1]，θj (t)?[-1, 1]，θk (t)?[-1, 1]。 (2) 输入一个学习样本(Xp, Tp)，其中p?{1, 2,…, N}、N为样本数，Xp?Rn，Tp