机器学习-神经网络与支持向量机部分6介绍.ppt

2003.12.18 机器学习-贝叶斯学习 作者：Mitchell 译者：曾华军等 讲者：陶晓鹏 机器学习 For 2013级计算机应用技术研究生 主讲 李鹤喜 机器学习——人工神经网络 2、人工神经网络的提出 3、人工神经网络的特点 4、生物神经元模型 3、生物神经元模型 4、神经元的MP模型 一组连接（对应于生物神经元的突触），连接强度由各连接上的权值表示，权值为正表示激活，为负表示抑制。 一个求和单元，用于求取各输入信号的加权和（线性组合). 一个非线性激活函数(作用函数)，起非线性映射作用并将神经元拘出幅度限制在一定范围内. 此外还有一个阈值 激活函数的作用 1、控制输入对输出的激活作用； 2、对输入、输出进行函数转换； 3、将可能无限域的输入变换成指定的有限范围内的输出。 几种常见的激活函数 1、阈值函数． 几种常见的激活函数 2，分段线性函数 它类似于一个放大系数为1的非线性放大器，当工作于线性区时它是一个线性组合器，放大系数趋于无穷大时变成一个阈值单元。 几种常见的激活函数 3。Sigmoid函数 神经网络的基本模型 4、神经网络结构模型 4、神经网络结构模型 4、神经网络结构模型 4、神经网络结构模型 人工神经网络的学习 ANN研究中的核心问题 ：How to determine the weights(权值) 人工神经网络最具有吸引力的特点是它的学习能力。 1962年，Rosenblatt给出了人工神经网络著名的学习定理：人工神经网络可以学会它可以表达的任何东西。 人工神经网络的表达能力大大地限制了它的学习能力。 人工神经网络的学习过程就是对它的训练过程 监督学习(有教师学习) 有导师学习(Supervised Learning)与有导师训练(Supervised Training)相对应。 输入向量与其对应的输出向量构成一个“训练对”。 有导师学习的训练算法的主要步骤包括： 1）? 从样本集合中取一个样本（Ai，Di）； 2）? 计算出网络的实际输出O； 3）? 求E=Di-O； 4）? 根据E调整权矩阵W； 5） 对每个样本重复上述过程，直到对整个样本集来说，误差不超过规定范围。 监督学习(有教师学习) 非监督学习(无导师学习) 无导师学习(Unsupervised Learning)与无导师训练(Unsupervised Training)相对应 抽取样本集合中蕴含的统计特性，并以神经元之间的联接权的形式存于网络中。 强化学习（reinforcement learning再励学习） 这种学习介于上述两种情况之间，外部环境对系统构出结果只给出评价（奖或惩）而不是给出正确答案，学习系统通过强化那些受奖励的动作来改善自身性能 神经网络的学习规则 1）直接设计计算 例如 Hopfield 作优化计算 2）学习得到,即通过训练(training) 神经网络学习规则 a)误差纠正学习 令 为输入 时神经元 在n时刻的实际输出， 表示相应的应有的输出（由训练样本给出） 神经网络的学习规则 b) Hebb学习 神经心理学家Hebb提出的学习规则可归结为”当某一突触（连接）两端的神经元的激活同步（同为激括或同为抑制）时，该连接的强度应增强，反之则应减弱”。 神经网络的学习规则 c) 竞争学习 顾名思义，在竟争学习时网络各输出单元互相竟争，最后达到只有一个最强者激活。最常见的一种情况是输出神经元之间有侧向抑制性连接，这样众多输出单元中如有某一单元较强，则它将获胜并抑制其他单元，最后只有比较强者处于激活状态。 BP反向传播神经网络 BP反向传播神经网络 Rumelhart，McClelland于1985年提出了BP网络的误差反向后传BP(Back Propagation)学习算法 BP算法基本原理 利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下去，就获得了所有其他各层的误差估计。 BP神经网络模型 多层BP神经网络（这里是4层） BP神经网络算法的推导 BP神经网络算法的推导 BP神经网络算法的推导 BP神经网络算法的推导 BP神经网络算法的推导 BP神经网络算法的推导 BP神经网络算法的推导 BP神经网络算法的推导 BP神经网络算法的推导 BP神经网络算法的推导 BP神经网络算法的推导 BP神经网络算法的推导 BP神经网络算法的推导 BP网络的标准学习算法 学习的过程： 神经网络在外界输入样本的刺激下不断改变网络的连接权值,以使网络的输出不断地接近期望的输出。 学习的本