深度学习案例教程 课件3.5 感知机的原理（扩展知识阅读）.pptx

扩展知识阅读-感知机原理M-P模型M-P模型是首个模拟生物神经元的结构和工作原理构造出来的一个抽象和简化了的数学模型。它由心理学家沃伦?麦卡洛克(WarrenMcCulloch)和数理逻辑学家沃尔特?皮兹(WalterPitts)在1943年提出并以二人的名字命名。

扩展知识阅读-感知机原理感知机模型感知机(Perceptron)模型是由美国心理学家弗兰克?罗森布拉特于1957年提出的一种具有单层计算单元的神经网络。该模型旨在建立一个线性超平面来解决线性可分问题。它的基本结构如图所示。表示一个只有两个输入神经元和一个输出神经元的单层感知机结构。??

扩展知识阅读-感知机原理感知机学习机制与M-P模型的人为设定参数值不同，感知机模型可以通过对样本数据的训练自动获得对参数更新的结果。罗森布拉特教授给出了感知机模型的学习机制，其过程可以概括如下：(1)准备训练样本和初始化权值参数。 (2)加入一个训练样本，并计算实际输出值。 (3)比较实际输出值和期望输出值的大小，如果相同，则参数不变。 (4)对每个训练样本重复步骤(3),直到计算的误差为0或者小于某个指定的值。

扩展知识阅读-感知机原理感知机模型的局限性这种只有输入层和输出层的感知机模型在发展几年后遇到了一些局限，它仅对线性问题具有分类能力。为什么感知机只可以解决线性问题？这是由它本身模型设定决定的，根据其线性方程可以分割开两个空间，其中一个空间输出1,另一个空间输出0,而该直线就是二维输入样本空间上的一条分界线。它只能表示由一条直线分割的空间，而对由曲线分割而成的非线性空间却无能为力。为了解决单层感知机模型的线性不可分问题，人们提出了多层感知机模型。

扩展知识阅读-感知机原理多层感知机模型感知机的局限性就在于它只能表示由一条直线分割的空间。由直线分割而成的空间称为线性空间。线性、非线性这两个术语在机器学习领域很常见，实际上，感知机的绝妙之处在于它可以“叠加层”，形成多层感知机模型(MultilayerPerceptron,MLP)。单层感知机可以拟合一个超平面y=a1+b2,适合于线性可分的问题，而对于线性不可分的问题则无能为力，例如异或问题。异或问题可以通过多层感知机解决，如图所示。

扩展知识阅读-感知机原理直到20世纪80年代，戴维?鲁姆哈特(DavidRumelhart)和詹姆斯?麦克莱兰(JamesL.McCelland)在1986年发表了《并行分布式处理》，其中对具有非线性连续变换函数的多层感知机的反向传播(BackPropagation,BP)算法进行了详尽的分析。其训练过程使用误差反向传播算法(ErrorBackPropagation)，即BP算法。BP算法最早有沃博斯于1974年提出，鲁梅尔哈特等人进一步发展了该理论。BP算法的基本过程如下： (1)前向传播计算：由输入层经过隐含层向输出层的计算网络输出。 (2)误差反向逐层传递:网络的期望输出与实际输出之差的误差信号由输出层经过隐含层逐层向输入层传递。 (3)由“前向传播计算”与“误差反向逐层传递”的反复进行的网络训练过程。

谢谢您的聆听结束