人工神经网络-SVM-深度学习简介.pptxVIP

神经网络及SVM简介一、 神经网络发展历史１．背景知识 以冯·诺依曼型计算机为中心的信息处理技术的高速发展，使得计算机在当今的信息化社会中起着十分重要的作用。但是，当用它来解决某些人工智能问题时却遇到了很大的困难。 例如，一个人可以很容易地识别他人的脸孔，但计算机则很难做到这一点。 大脑是由生物神经元构成的巨型网络，它在本质上不同于计算机，是一种大规模的并行处理系统，它具有学习、联想记忆、综合等能力，并有巧妙的信息处理方法。 人工神经网络来源于对人脑实际神经网络的模拟人脑和CPU神经细胞利用电-化学过程交换信号。输入信号来自另一些神经细胞。这些神经细胞的轴突末梢（也就是终端）和本神经细胞的树突相遇形成突触（synapse），信号就从树突上的突触进入本细胞。信号在大脑中实际怎样传输是一个相当复杂的过程，但就我们而言，重要的是把它看成和现代的计算机一样，利用一系列的0和1来进行操作。就是说，大脑的神经细胞也只有两种状态：兴奋（fire）和不兴奋（即抑制）。发射信号的强度不变，变化的仅仅是频率。神经细胞利用一种我们还不知道的方法,把所有从树突上突触进来的信号进行相加，如果全部信号的总和超过某个阀值，就会激发神经细胞进入兴奋（fire）状态，这时就会有一个电信号通过轴突发送出去给其他神经细胞。如果信号总和没有达到阀值，神经细胞就不会兴奋起来。人脑和CPU?动 物?神经细胞的数目（数量级）?蜗 牛?10,000 （=10^4）?蜜 蜂?100,000 （=10^5）?蜂 雀?10,000,000 （=10^7）?老 鼠?100,000,000 （=10^8）?人 类?10,000,000,000 （=10^10）?大 象?100,000,000,000 （=10^11）人脑和CPUCPU 只具备一个功能 就是二进制加法运算人脑的特点处理信息的效率极高人脑 100hz，10G个核CPU i7 3.0 Ghz，4个核能实现无监督的学习对损伤有冗余性(tolerance)善于归纳推广人工神经网络一个人工神经网络(Artificial neural network,简称ANN)就是要在当代数字计算机现有规模的约束下，来模拟这种大量的并行性,并在实现这一工作时，使它能显示许多和生物学大脑相类似的特性。2．什么是人工神经网络 人工神经网络（Artificial Neural Netwroks，简称ANN）是对人类大脑系统的一种仿真，简单地讲，它是一个数学模型，可以用电子线路来实现，也可以用计算机程序来模拟，是人工智能研究的一种方法。 实际上它是由大量的、功能比较简单的形式神经元互相连接而构成的复杂网络系统，用它可以模拟大脑的许多基本功能和简单的思维方式。尽管它还不是大脑的完美元缺的模型，但它可以通过学习来获取外部的知识并存贮在网络内，可以解决计算机不易处理的难题，特别是语音和图像的识别、理解、知识的处理、组合优化计算和智能控制等一系列本质上是非计算的问题。 3．几个发展阶段 第一次热潮(40-60年代未) 1943年,美国心理学家W.McCulloch和数学家W.Pitts在提出了一个简单的神经元模型，即MP模型。1958年，F.Rosenblatt等研制出了感知机(Perceptron）。 低潮(70-80年代初) 第二次热潮 1982年，美国物理学家J.J.Hopfield提出Hopfield模型，它是一个互联的非线性动力学网络他解决问题的方法是一种反复运算的动态过程,这是符号逻辑处理方法所不具备的性质. 1987年首届国际ANN大会在圣地亚哥召开，国际ANN联合会成立，创办了多种ANN国际刊物。1990年12月，北京召开首届学术会议。 第三次热潮 GPU 大数据 新方法 深度学习理论学习的类型syΣf ( ).. .人工神经网络人工神经元模型x1…xn表示与该神经元相连接的所有神经元的输入（出）w1…wn表示与相连接神经元的突触强度（连接权）θ 表示神经元的（电压）阈值。f ( )表示激励函数,单调上升函数，且取有限值神经元电位值：神经元的输出值：y =f(s)人工神经网络激励函数的基本作用控制输入对输出的激活；对输入、输出进行函数转换；将可能无限域的输入变换成指定的有限范围内的输出。激励函数类型阈值函数线性函数非线性函数 Sigmoid函数人工神经网络Sigmoid函数S型函数具有非线性放大系数功能，可以把输入从负无穷大到正无穷大的信号，变换成-1到l之间输出对较大的输入信号，放大系数较小；而对较小的输入信号，放大系数则较大采用S型激活函数可以处理和逼近非线性输入/输出关系就是把神经细胞原有的阶跃式输出曲线钝化为一光滑曲线BP神经网络BP神经网络计算BP神经网络Rumelhart，McClelland于1985年提出了BP网络的