《神经网络分类器》课件.ppt

医学PPT 有4个模式，要分为2类： 适当选取神经元的输出函数，两层前馈神经网络可以逼近任意的多元非线性函数 若有足够多的隐单元，任何从输入到输出的连续函数都可以用一个这样的三层网络任意精度近似 三层或三层以上的前馈网络通常被叫做多层感知器(MLP) MLP的适用范围大大超过单层网络 多层前馈网络 双层网络→一个线性边界 三层或三层以上→任意决策边界 存在问题： 未给出隐单元数目 未给出权值 仅根据训练样本，很难知道应该有什么形式的界面函数 实际设计过程中还有很多问题 三层前馈网络的使用范围大大超过二层前馈网络，但学习方法较为复杂，主要困难是中间的隐层不直接与外界连接，无法直接计算其误差。 1、反向传播算法 反向传播算法：从后向前反向逐层“传播”输出层的误差，以间接算出隐层误差。分两个阶段： 正向过程：从输入层经隐层逐层正向计算各单元的输出 反向过程：由输出层误差逐层反向计算隐层各单元的误差，并用此误差修正前层的权值 用已知类别的特征向量为训练集，当输入属于第j类的特征向量时，应使输出yj=1，其他输出为-1；设期望的输出为：Y=[y1,y2,…,yn]T，实际输出为： 某一层第j个计算单元： i：前一层的第i个计算单元 k：后一层的第k个计算单元 Oj：本层的第j个计算单元的输出 wij：前一层第i个单元到本层第j个单元的权值 正向过程： 输入某样本时，从前到后对每个神经元计算： 对输出层， 是实际输出值，yj是期望输出值，误差为： 定义局部梯度： 计算权值对误差的影响： 利用梯度下降原理 为使误差尽快减小，令修正量为： Δwij=-ησjOi wij(t+1)=wij(t)+ Δwij(t) t为迭代次数 若单元j为输出单元： 若单元j不是输出单元，则Oj会影响后层所有单元，有： 误差反向传播原理示意图 隐层单元j的局部梯度σj正比于输出单元局部梯度的σk加权和 由此，输出单元的局部梯度就“反向”传播回到隐层单元 当非线性函数f为双曲正切函数时： 反向传播算法 设权值的随机初始值(较小的随机数) 反复执行如下操作(依次输入如下样本)，直到收敛 从前向后逐层计算每个单元的Oj， 计算每个输出单元的局部梯度σj 从后向前反向计算每个隐层单元 计算并保存每个权值修正量 修正权值 可对各样本修正权值，也可各样本计算σj后按总误差修正权值 讨论 梯度下降法求非线性函数极值，可能局部极小，不能保证收敛到全局极小点 三层或更多层网络，初始权值不能全为零或都相同，否则各隐层单元无差异，迭代无效果。通常采用小随机数，如区间[-0.3，0.3] 初始值影响收敛，不收敛时改变初始值重新迭代 步长参数η对收敛影响大，不同问题最佳值不同，约0.1~3 惯性系数α影响收敛速度，常用0.9~1，α≥1时不收敛 输入单元数=特征向量维数，输出单元数=类别个数 医学PPT 第五章 神经网络分类器 5.1 感知器算法 5.2 神经网络分类器 5.1 感知器算法 一、引言 模式识别与人工智能是研究如何利用计算机实现人脑的一些功能。 人工神经网络研究的发展： 1943年，提出形式神经元的数学模型，人工神经网络研究的开端。 1949年，提出神经元的学习准则，为神经网络的学习算法奠定了基础。 50年代，研究类似于神经网络的分布系统。 50年代末提出感知模型，把神经网络的实现付诸工程实践。 1982年，提出神经网络的数学模型，引入了能力的概念，研究了网络的动力学特性；设计出用电子线路实现网络的方案，大大促进了神经网络的研究。 1986年，提出多层感知器的反向传播算法。 现在神经网络的应用已渗透到智能控制、信号处理、优化计算、生物医学工程等领域。 二、人工神经元 1、生物神经元 典型的神经元，即神经细胞结构：胞体、树突、轴突、突触 胞体：神经细胞的本体，完成普通细胞的生存功能。 树突：有大量的分枝，接受来自其他神经元的信号。 轴突：用以输出信号。 突触：神经元相联系的部位，对树突的突触为兴奋性的，使下一个神经元兴奋；对胞体的突触为抑制性的，阻止下一个神经元兴奋。 神经元的基本工作机制： 神经元的两种工作状态：兴奋和抑制。 动态极化原则：在每一个神经元中，信息以预知的确定方向流动，即从神经元的接收信息部分传到轴突的电脉冲起始部分，再传到轴突终端的突触，以与其它神经元通信。 连接的专一性原则：神经元之间无细胞质的连续，神经元不构成随机网络，每一个神经元与另一些神经元构成精确的联接。 信号的传递过程： 接受兴奋电位； 信号的汇集和传导； 信号的输出。 2、人工神经元 人工神经元模型： xi：输入，神经元的输入值 ωi：权值，突触的连接强