现代机器学习 课件 第8章 神经网络.pptx

第8章神经网络;

人工神经网络(ArtificialNeuralNetwork,ANN)简称神经网络(NN)或连接模型(ConnectionModel),它是一种模仿动物神经网络行为特征进行分布式并行信息处理的数学模型。神经网络依赖系统的复杂程度,通过调整内部大量节点之间相互连接的关系来达到信息处理的目的。;

8.1神经网络基础;

1986年,第二起:Hinton等人将改进后的反向传播算法引入多层感知器,神经网络重新成为热点。反向传播算法是神经网络中极为重要的学习算法,直到现在仍然占据着重要地位。

1995—2006年,第二落:计算机性能仍然无法支持大规模的神经网络训练,SVM和线性分类器等简单的方法相对更流行。

2006年,第三起:随着大规模并行计算和GPU的支持,计算能力大大提高,在此支持下,神经网络迎来第三次高潮,延续至今。;

8.1.2神经元

1943年,心理学家McCulloch和数学家Pitts参考生物神经元的结构,发表了抽象的神经元模型MP。图8.1是一个典型的神经元模型,包含有3个输入a1~a3,1个输出Z,以及2个计算功能。其中,Z是在输入和权值的线性加权和上叠加了一个“激活函数”g的值。;;

在MP模型里,激活函数是阶跃函数。当输入大于0时,这个函数输出1,否则输出0。显然,“1”对应的