感知器学习算法.ppt

* 1958年，美国心理学家Frank Rosenblatt提出一种具有单层计算单元的神经网络，称为Perceptron，即感知器。感知器是模拟人的视觉接受环境信息，并由神经冲动进行信息传递的层次型神经网络。感知器研究中首次提出了自组织、自学习的思想，而且对所能解决的问题存在着收敛算法，并能从数学上严格证明，因而对神经网络研究起了重要推动作用。 单层感知器的结构与功能都非常简单，以至于在解决实际问题时很少采用，但由于它在神经网络研究中具有重要意义，是研究其它网络的基础，而且较易学习和理解，适合于作为学习神经网络的起点。 单层感知器是指只有一层处理单元的感知器，如果包括输入层在内，应为两层。图中输入层也称为感知层，有n个神经元节点，这些节点只负责引入外部信息，自身无信息处理能力，每个节点接收一个输入信号，n个输入信号构成输入列向量X。输出层也称为处理层，有m个神经元节点，每个节点均具有信息处理能力，m个节点向外部输出处理信息，构成输出列向量O。两层之间的连接权值用权值列向量Wj表示，m个权向量构成单层感知器的权值矩阵W。3个列向量分别表示为： * * 对于处理层中任一节点，由第二章介绍的神经元数学模型知，其净输入netj为来自输入层各节点的输入加权和 (3.1) 输出oj为节点净输入与阈值之差的函数，离散型单计算层感知器的转移函数一般采用符号函数。 * (1)设输入向量X=(x1,x2)T，则两个输入分量在几何上构成一个二维平面，输入样本可以用该平面上的一个点表示。节点j的输出为： 则由方程 wijx1+w2jx2-Tj=0 确定的直线成为二维输入样本空间上的一条分界线。 * 线上方的样本用*表示，它们使netj0，从而使输出为1；线下方的样本用o表示，它们使netj0，从而使输出为-1，见图3.3。显然，由感知器权值和阈值确定的直线方程规定了分界线在样本空间的位置，从而也确定了如何将输入样本分为两类。假如分界线的初始位置不能将*类样本同o类样本正确分开，改变权值和阈值，分界线也会随之改变，因此总可以将其调整到正确分类的位置。 * (2)设输入向量X=(x1,x2,x3)T， 则3个输入分量在几何上构成一个三维空间。节点j的输出为 则由方程 wijx1+w2jx2+w3j –Tj=0 确定的平面成为三维输入样本空间上的一个分界平面。平面上方的样本用*表示，它们使netj0，从而使输出为1；平下方的样本用o表示，它们使netj0，从而使输出为-1，见图3.4。同样，由感知器权值和阈值确定的平面方程规定了分界平面在样本空间的方位，从而也确定了如何将输入样本分为两类。假如分界平面的初始位置不能将*类样本同o类样本正确分开，改变权值和阈值即和改变分界平面的方向与位置，因此总可以将其调整到正确分类的位置。 * 线上方的样本用*表示，它们使netj0，从而使输出为1；线下方的样本用o表示，它们使netj0，从而使输出为-1，见图3.3。显然，由感知器权值和阈值确定的直线方程规定了分界线在样本空间的位置，从而也确定了如何将输入样本分为两类。假如分界线的初始位置不能将*类样本同o类样本正确分开，改变权值和阈值，分界线也会随之改变，因此总可以将其调整到正确分类的位置。 * (3)将上述两个特例推广到n维空间的一般情况， 设输入向量X=(x1,x2,x3)T，则n个输入分量在几何上构成一个n维空间。由方程 wijx1+w2jx2+…+wnj –Tj=0 (3.5) 可定义一个n维空间上的超平面。此平面可以将输入样本分为两类。 通过以上分析可以看出，一个最简单的单计算节点感知器具有分类功能。其分类原理是将分类知识存储于感知器的权向量（包含了阈值）中，由权向量确定的分类判决界面将输入模式分为两类。 * (3)将上述两个特例推广到n维空间的一般情况， 设输入向量X=(x1,x2,x3)T，则n个输入分量在几何上构成一个n维空间。由方程 wijx1+w2jx2+…+wnj –Tj=0 (3.5) 可定义一个n维空间上的超平面。此平面可以将输入样本分为两类。 通过以上分析可以看出，一个最简单的单计算节点感知器具有分类功能。其分类原理是将分类知识存储于感知器的权向量（包含了阈值）中，由权向量确定的分类判决界面将输入模式分为两类。 * 下面研究用单计算节点感知器实现逻辑运算问题。首先用感知器实现