深度学习案例教程 教案3.5 感知机的原理（扩展知识阅读）.docx

本节课我们来学习扩展知识阅读-感知机原理。

（p1）

神经网络是最早的一种连接主主义为主的模型。

它是一种模仿人类神经元信息传递的数学算法模型。

我们本节课主要了解三种经典的神经网络模型，

分别是我们的MP模型、感知机模型和多层感知机模型。

那么首先我们来看一下MP模型。

MP模型是首个模拟生物神经元的结构和工作原理构造出来的一个抽象和简化了的数学模型。

它由心理学家沃伦麦克洛克和

数理逻辑学家沃尔特皮兹在1943年提出以二人命名的MP模型。

那简而言之，这个模型主要是在模拟

从多输入到单输出的一个信息处理单元

如图所示，就是一个MP模型，

在这个模型中，神经元接收来自N个其他神经元传递过来的输入信号。

比如说当我们的输入信号进入到我们图右边这个神经元。

X1送往神经元时，会被分别乘以固定的权重W1。

神经元会计算传送过来的信号总和，并将当前神经元的阈值进行比较。

只有当这个总超过了阈值。

神经元才会被激活，否则就不会被激活。这个就是MP模型。

它主要分为三个步骤，

神经元接受信号，然后将输入的全值参数进行加权求和，

经过激活函数激活，然后由激活结果作为结果输出

（p2）

感知机模型是由美国心理学家弗兰克罗森布拉在1957年提出的一种具有单层计算单元的神经网络。

该模型主要用于解决线性可分问题，通过建立一个线性超平面来进行分类。

感知机模型的基本结构如图所示，它包含两个输入神经元和一个输出神经元。

输入神经元接收输入数据，并将其加权求和后传递给输出神经元。

输出神经元则使用激活函数来将加权求和的结果转化为输出值。

在感知机模型中，激活函数起着非常重要的作用。

激活函数决定了神经元的输出是否被激活，以及激活的程度。

常用的激活函数包括阶跃函数、sigmoid函数和ReLU函数等。

激活函数的选择对于感知机模型的性能和学习能力有着重要影响。

不同的激活函数可以带来不同的非线性变换，

从而使模型能够处理更加复杂的问题。

在实际应用中，我们可以根据具体任务的需求选择合适的激活函数。

（p3）

与M-P模型的人为设定参数值不同，

感知机模型可以通过对样本数据的训练自动获得对参数更新的结果。

罗森布拉特教授给出了感知机模型的学习机制，其过程可以概括为4步

第一步，准备训练样本和初始化权值参数。

第二步，加入一个训练样本，并计算实际输出值。

第三步，比较实际输出值和期望输出值的大小，如果相同，则参数不变。

第四步，对每个训练样本重复步骤步骤三,直到计算的误差为0或者小于某个指定的值。

（p4）

那感知机模型它也有自己的局限性，它只有输入层和输出层。

只对线性问题具有分类能力。

那为什么它只能解决线性问题呢？

因为由于它本身模型的机制设定决定的，

根据它的线性方程可以分割为两个空间。

其中一个空间输出为一，

另一个空间输出为零。

该直线就是一个二维输入样本空间上的一条分界线，

它只能表示由一条直线分割的空间，

而对由曲线分割而成的非线性空间，它却无能为力。

为了解决单层感知基模型的线性不可分问题。

于是又有了多层感知机模型。

（p5）

接下来我们来了解一下多层感知机模型。

感知机，它的局限性在于它只能表示一条直线分割的空间。

由直线分割而成的空间叫做线性空间。

线性和非线性这两个术语在机器学习领域中非常常见。

实际上，感知机的绝妙之处在于它可以叠加层，形成多层感知机模型。

单层感知机呢，可以拟合一个超平面，比如说Y等于A1加B2。

适合于线性可分的问题。

而对于线性不可分的问题，它则是无能为力的，

比如说，处理异或问题，异或问题呢，可以通过多层感知机去解决啊，

类似我们图中

x1和x2为输入，中间的s1,s2相对于2个感知机，分别构造一个超平面，

随着中间层的累加，多层感知机模型可以解决更复杂的分类问题。

（p6）

那直到20世纪80年代。

戴维鲁姆哈特和詹姆斯麦克来兰

在1986年发表了并行式分布式处理。

其中对具有非线性连续变换函数的多层感知机模型的反向传播算法进行了详尽的分析。

他在训练过程中使用误差反向传播算法，也就是BP算法。

BP算法最早由沃伯斯提在1974年提出的。

鲁梅尔哈特这些人，进一步的发展该理论。

BP算法的基本过程分为3步：

(1)前向传播计算：由输入层经过隐含层向输出层的计算网络输出。

(2)误差反向逐层传递:网络的期望输出与实际输出之差的误差信号由输出层经过隐含层逐层向输入层传递。(3)由“前向传播计算”与“误差反向逐层传递”的反复进行的网络训练过程。