离散单层感知器的训练算法-北京科技大学自动化学院.ppt

1、程序实现:ε、α、d、i、j、n、m为简单变量来表示，W为n行m列的二维数组。样本集(X,Y)是二维数组。 2、Minsky在1969年证明，有许多基本问题是感知器无法解决的。 3 、很难从样本数据集直接看出问题是否线性可分。 4、未能证明，一个感知器究竟需要经过多少步才能完成训练。 连续单层感知器的学习算法 第三章：感知器 3.3 单层感知器的学习算法 第三章：感知器 3.4 单层感知器网络的局限性 结论1：单个感知器不能对线性不可分问题实现两类分类。 结论2：单层感知器不能对线性不可分问题实现多类分类。 第三章：感知器 3.4 单层感知器网络的局限性 从前面的结论：“单层感知器不能对线性不可分问题实现分 类。”可以看出单层感知器是有局限性的。 变量 函数及其值 x y f1 f2 f3 f4 f5 f6 f7 f8 f9 f10 f11 f12 f13 f14 f15 f16 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 0 1 0 0 0 0 1 1 1 1 0 0 0 0 1 1 1 1 1 0 0 0 1 1 0 0 1 1 0 0 1 1 0 0 1 1 1 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1 第三章：感知器 3.4 单层感知器网络的局限性 单层感知器的二维分类能力如下表： 第三章：感知器 3.4 单层感知器网络的局限性 单层感知器的高维分类能力如下表： R. O. Windner 1960年 自变量个数 函数的个数 线性可分函数的个数 1 4 4 2 16 14 3 256 104 4 65,536 1882 5 4.3*109 94,572 6 1.8*1019 5,028,134 用多个单级网组合在一起，并用其中的一个去综合其它单级网的结果，我们就可以构成一个两级网络，该网络可以被用来在平面上划分出一个封闭或者开放的凸域来 一个非凸域可以拆分成多个凸域。按照这一思路，三级网将会更一般一些，我们可以用它去识别出一些非凸域来。 第三章：感知器 3.5 多层感知器的设计方法 当wij=1,θ=1，右图可实现“与”运算， 当wij=1,θ=n，右图可实现“或”运算， 第三章：感知器 3.5 多层感知器的设计方法 本章第三节中讨论了单层的感知器网络，本章第四节中指出了单层感知神经网络的局限性，如果要实现非线性数据分类，有必要构造多层感知器网络。 第三章：感知器 3.5 多层感知器的设计方法 例 1 0 0 u1 u2 y W1=1,- 1;-1 1 θ1=0.5;-0.5 W2=1,1 θ2=1.5 例3.1：假设某压力设备的正常与不正常运行状态是由设备内部的压力P和温度T决定的。当P和T位于图3.1的阴影部分（包括边界）时设备运行正常，否则该设备不正常。问能否用感知器网络来实现该设备运行状态的识别（即运行正常与运行不正常的分类）。 P（Mpa） T(℃) 450 390 0.2 0.5 第三章：感知器 3.5 多层感知器的设计方法 第三章：感知器 3.6 有关的几个问题 M-P模型在人工神经网络中的地位 首先M-P模型是所有人工神经元中第一个被建立起来的，它在多个方面都显示出生物神经元所具有的基本特性。 其次，目前其它形式的人工神经元已有很多，但大多数都是在M-P模型的基础上经过不同的修正，改进变换而发展起来。因此M-P人工神经元是整个人工神经网的基础。 1、神经元的内部改造：对不同的人工神经元取不同的非线性函数F（·）；对人工神经元的输入和输出做不同的限制：离散的（某些离散点）和连续的（整个实数域）。 2、人工神经元之间的联接形式上进行改造——神经网络的结构上的改造。 3、在人工神经网络权值和阈值取求的方法上改造——算法的改进。 4、其它形式的改造，譬如（1）与（2）结合起来改进；（2）与（3）结合起来改进等等。 第三章：感知器 3.6 有关的几个问题 对M-P人工神经元进行改进的主要方式 1、单神经元（M-P模型、单感知器、单连续感知机）； 2、单层前向连接的神经网络； 3、多层前向连接的神经网络（BP、RBF）； 4、单层带有反馈连接的神经网络（Hopfield网）； 5、多层回归（递归）神经网络； 6、局部连接的人工神经网络（细胞神经网、小脑模型等）。 第三章：感知器 3.6 有关的几个问题 人工神经网络常见的连接形式有：方式 MATLAB中单层感知器常用工具函数名称和基本功能 函 数 名 功 能 newp() 生成一个感知器 hardlim() 硬限幅激活函数 learnp() 感知器的学习函数 train() 神经网络训练函数 sim() 神经网络仿真函数 mae() 平均绝对误差