第10章神经网络.pptxVIP

第10章神经网络10.1神经网络的相关知识10.2神经网络10.3 BP神经网络10.1神经网络的相关知识? 10.1.1神经网络的历史? 1890年William James的《心理学原理》，指明出了神经细胞 所有输入的叠加导致了这个神经细胞的激活。? 1943年Warren McCulloch和Wolter Pitts尝试着通过数学的 方式描述和构建了神经元。? 1949年，Donolcl Hebb在《行为组织学》一书中描述了一种 神经元突触学习法则。? 1951年Marvin Minsky在普林斯顿大学读博士期间创建了第一 个随机连接神经模拟计算器SNARCo10.1神经网络的相关知识? 10.1.1神经网络的历史? 1957年，Frank Rosenblatt在康奈尔航天实验室的IBM 704计 算机上设计了一种具有单神经元的“感知器”，可以解决简单的 线性分类问题。? 1969年，己经获得了图灵奖的Marvin Minsky和Seymour Papert合著了《感知器》一书，书中指出单层神经网络只能 运用于线性问题的求解，不能解决哪怕最简单的异或(XOR) 等线性不可分问题。? 1982年，加州理工的John Hopfield发明了Hopfield神经网络, 这是一个单层循环神经网络。10.1神经网络的相关知识? 10.1.1神经网络的历史? 1985年，卡耐基梅隆大学的Geoffrey Hinton, DavidAckley和Terry Sej nowski借助统计物理学的概念和方法提出 了一种随机神经网络模型——玻尔兹曼机。? 1986年，加州大学圣地亚哥分校的Dcivid Rumelhart,卡耐 基梅隆大学的Geoffrey Hinton和东北大学的Ronald J. Williams合作发表了神经网络研究中里程碑一般的BP算法。?从1986年之后的神经，网络就蓬勃发展起来。10.1神经网络的相关知识? 10.1.2神经元模型?神经网络(neural networks)是一个跨学科领域的研究， 它结合了生物学当中的生物神经学和计算学科中的神经网络学, 但这里所提出的神经网络主要是指可用于计算的神经网络。10.1神经网络的相关知识? 10.1.3激活函数? 1、Sigmoid函数?它把肯能在较大范围内变化的输入值挤压到(0, 1)输出值 范围内，有时也称为“挤压函数” (squashing function)。 当x时非常大的正数时，sigmoid (x)会去趋近于1,而x是非 常大的负数时，贝iJsigmoid (x)会趋近于0。它可以用作分类, 比如：激活函数的输出如果为0.9的话，便可以解释为90%的概率为正样本。10.1神经网络的相关知识? 10.1.3激活函数? 1、Sigmoid函数?它把肯能在较大范围内变化的输入值挤压到(0, 1)输出值 范围内，有时也称为“挤压函数” (squashing function)。 当x时非常大的正数时，sigmoid (x)会去趋近于1,而x是非 常大的负数时，贝iJsigmoid (x)会趋近于0。它可以用作分类, 比如：激活函数的输出如果为0.9的话，便可以解释为90%的概率为正样本。10.1神经网络的相关知识? 10.1.3激活函数? 2^ tanh函数?它是sigmoid函数的一个变体，它的取值范围为［T, 1］。它的 改变解决了 sigmoid函数的零中心的情况，但是饱和问题依旧 存在。 -10.1神经网络的相关知识? 10.1.3激活函数? 3、ReLu函数?它是和0比大小，凡是x比0大，则输出x,如果比0小，则输出0。ReLu方法的出现大大简化了计算，对网络计算加速具有巨大的作用。/(?) 一 gr(0,z)10.2神经网络? 10.2.1神经网络的基本概念? 1958年，计算科学家Rosenblatt提出了由两层神经元组成的 神经网络。他给它起了一个名字-“感知器” (Perceptron) (有的文献翻译成“感知机”，下文统一用“感知器”来指 代)。?感知器是当时首个可以学习的人工神经网络。Rosenblatt现 场演示了其学习识别简单图像的过程，在当时的社会引起了轰 动。10.2神经网络?如果输岀的目标不是某一个值，而是一个向量，那么的网络输 岀层则会发生变化，如图10-8所示，Yi= f(wi,i * Xi + w2/i * X2 4- 0),Y2 =f(w12 * Xi + w22 * X2 + 0)o10.2神经网络? 10.2.3隐藏层?在多级前馈网当中，隐藏层的定义是：除输入层和输出层以外 的其他各层叫做隐藏层。隐藏层不直接接受外界的信号，也不 直接向外界发送信号。?输入向量，输出向量的维数是由问题所直接