模式识别神经网络分类.pptVIP

模式识别神经网络分类2003.12.18*第1页，共23页，星期日，2025年，2月5日人工神经网络学习概述人工神经网络提供了一种普遍且实用的方法从样例中学习值为实数、离散值或向量的函数。人工神经网络对于训练数据中的错误健壮性很好。人工神经网络已被成功应用到很多领域，例如视觉场景分析，语音识别，机器人控制。其中，最流行的网络和算法是20世纪80年代提出的BP网络和BP算法，BP算法使用梯度下降法来调节BP网络的参数以最佳拟合由输入-输出对组成的训练集合。第2页，共23页，星期日，2025年，2月5日BP算法概述1、BP算法的出现非循环多级网络的训练算法UCSDPDP小组的Rumelhart、Hinton和Williams1986年独立地给出了BP算法清楚而简单的描述1982年，Paker就完成了相似的工作1974年，Werbos已提出了该方法2、弱点：训练速度非常慢、局部极小点的逃离问题、算法不一定收敛。3、优点：广泛的适应性和有效性。第3页，共23页，星期日，2025年，2月5日BP网络的基本结构第4页，共23页，星期日，2025年，2月5日确定BP网络的拓扑结构在开始训练之前，需要确定网络的拓扑结构：出入层神经元的个数、隐含层神经元的层数及每一层神经元的个数、输出层神经元的个数。对训练样本中的每一属性的值进行归一化，使其值落在（0，1）区间，有助于加快学习过程。对于离散的属性值，要进行合适的编码。BP网一般都选用二级网络。实验表明：增加隐藏层的层数和隐藏层神经元个数不一定总能够提高网络精度和表达能力。第5页，共23页，星期日，2025年，2月5日神经元的M-P模型第6页，共23页，星期日，2025年，2月5日激活函数(ActivationFunction)激活函数——执行对该神经元所获得的网络输入的变换，也可以称为激励函数、活化函数：o=f（net）1、线性函数（LinerFunction）f（net）=k*net+cnetooc第7页，共23页，星期日，2025年，2月5日2、非线性斜面函数(RampFunction) γ ifnet≥θf（net）=k*net if|net|θ -γ ifnet≤-θ?γ0为一常数，被称为饱和值，为该神经元的最大输出。第8页，共23页，星期日，2025年，2月5日2、非线性斜面函数（RampFunction）γ-γθ-θneto第9页，共23页，星期日，2025年，2月5日3、阈值函数（ThresholdFunction）阶跃函数 β ifnetθf（net）= -γ ifnet≤θβ、γ、θ均为非负实数，θ为阈值二值形式： 1 ifnetθf（net）= 0 ifnet≤θ双极形式： 1 ifnetθf（net）= -1 ifnet≤θ第10页，共23页，星期日，2025年，2月5日3、阈值函数（ThresholdFunction）阶跃函数β-γθonet0第11页，共23页，星期日，2025年，2月5日4、S形函数压缩函数（SquashingFunction）和逻辑斯特函数（LogisticFunction）。f（net）=a+b/(1+exp(-d*net))a，b，d为常数。它的饱和值为a和a+b。最简单形式为：f（net）=1/(1+exp(-d*net))函数的饱和值为0和1。S形函数有较好的增益控制第12页，共23页，星期日，2025年，2月5日4、S形函数a+bo(0,c)netac=a+b/2第13页，共23页，星期日，2025年，2月5日BP算法第14页，共23页，星期日，2025年，2月5日BP算法的基本思想BP算法的基本工作过程大概可以分为两个阶段：1）信号的向前传播，在这个阶段，要求计算出隐含层和输出层中每一神经元的净输入和输出。 2）误差的向后传播，在这个阶段，要求计算出输出层和隐含层中每一神经元的误差。第15页，共23页，星期日，2025年，2月5日初始化问题在BP算法中，权和偏置在网络学习之前，都将其初始化为不同的小随机数。“不同”保证网络可以学习；“小随机数”防止其值过大而提前进入饱和状态。第16页，共23页，星期日，2025年，2月5日更新问题基本的BP算法采用的是实例更新，即每处理一个实例就更新一次权和偏置。实例更新的缺陷：实例的顺序对训练结果有较大影响。它更“偏爱”较后出现的