神经网络 课程汇报.pptVIP

神经网络原理及其在词义消歧中的应用 张亚森 2011202110090 内容 介绍神经网络的基本原理 BP神经网络在词义消歧（Word Sense Disambiguation）中的应用 总结 背景 “人工神经网络”（Artificial Neural Network，ANN）是在对人脑组织结构和运行机制的认识理解基础之上模拟其结构和智能行为的一种工程系统。早在20世纪40年代初期，心理学家McCulloch,数学家Pitts就提出了人工神经网络的第一个数学模型，从此开创了神经科学理论的研究时代。其后，Rosenblatt,Widrow和Hopfield等学者又先后提出了感知模型，使得人工神经网络技术得以蓬勃发展。 基本特征 （1）神经元及其连接。从系统构成的形式上看，由于人工神经网络是受生物神经系统的启发构成的，从神经元本身到连接模式，基本上都是以与生物神经系统相似的方式工作的。 （2）信息的存储与处理。从表现特征上看，人工神经网络也力求模拟生物神经系统的基本运行方式，并且可以通过相应的学习/训练算法，将蕴含在一个较大数据集中的数据联系抽象出来，就像人们可以不断地探索规律，总结经验一样，可以从先前得到的例子中找出一般规律或一般框架，再按要求产生出新的实例。 人工神经网络的特点 可以充分逼近任意复杂的非线性关系 所有定量或定性的信息都等势分布存储于网络内的各神经元，故有很强的鲁棒性和容错性 采用并行分布处理方法，使得快速进行大量运算成为可能 可学习和自适应不知道或不确定的系统 能够 同时处理定量,定性知识 人工神经元的组成 一个神经网络由多个互连的神经元组成，神经元是神经网络的基本处理单元，它一般是多个输入、一个输出的非线性单元，如下图       …       神经网络的互连结构 分层网络结构 分层网络结构又称为层次网络结构，按层的多少，可分为单层,双层及多层的网络结构 (1)单层或双层网络结构。 最早的神经网络模型的互连模式是单层或双层结构，这种互连模式是最简单的层级结构。感知机就是采用这种结构，如下图所示 单层与双层神经网络互连结构 … (2)多层网络结构。 在神经网络模型中，有一种十分典型的互连模式，这就是多层神经网络结构，这种互连模式的代表有简单的前向网络(BP神经网络)模式,多层侧抑制(神经网络内有相互连接的前向网络)模式和带有反馈的多层神经网络模型。如下图所示，一个简单的前向多层神经网络 输入模式由输入层进入网络，经过中间层的顺序模式变换，最后由输出层产生一个输出模式，便完成一次网络状态更新。 神经网络模型分类 按学习方式分类 按学习方式分为有导学习(有监督训练),强化学习和无导学习(无监督训练)3类网络模型。 (1)在有导的学习中，必须预先知道学习的期望结果，并按照某一学习规则来修正权值。 (2)强化学习是利用某一技术表示“奖/惩”的全局信号，衡量与强化输入相关的局部决策。 (3)无导学习不需要指导信息，只要给定输入信息，网络能通过自组织，自调整，自学习并给出一定意义下的输出响应。 神经网络的学习 确定了网络结构（网络层数，各层单元数）之后，应该确定各单元的偏置及单元之间的连接权值。 学习过程就是调整这组权值和偏置，使每个训练样本在输出层单元上获得期望输出。 学习目的就是找出一组权值和偏置，这组权值和偏置能使所有训练样本在输出层单元上获得期望输出。 神经网络的学习算法 误差向后传播方法 误差修正学习方法是一种监督学习（有导）过程，其基本思想是利用神经网络的期望输出与实际输出间的偏差作为调整连接权值的参考依据，并最终减少这种偏差。 误差向后传播方法的基本思想 首先赋予每条有向加权边初始权值、每个隐藏层与输出层单元初始偏置； 然后迭代地处理每个训练样本； 输入它的描述属性值，计算输出层单元的实际输出； 比较实际输出与期望输出（类别属性值），将它们之间的误差从输出层经每个隐藏层到输入层“后向传播”； 根据误差修改每条有向加权边的权值及每个隐藏层与输出层单元的偏置，使实际输出与期望输出之间的误差最小。 对于某个训练样本，实际输出与期望输出的误差Error定义为 式中，c为输出层的单元数目； Tk为输出层单元k的期望输出； Ok为输出层单元k的实际输出。 首先考虑输出层单元k与前一层单元j之间的权值wjk的修改量Δwjk 、单元k的偏置 的修改量 。 式中，l为避免陷入局部最优解的学习率，一般在区间[0, 1]上取值。 求解上式可以得到权值,偏置的修改量为 式中，Oj为单元j的输出； Errk是误差Error对单元k的输入netk的负偏导数，即 类似地，隐藏层单元j与前一层单元i之间的权值wij的修改量Δwij、单元j的偏置 的修改量 为 式中，l为学