2015讲义_31 感知器.pptVIP

二值网络：自变量及其函数的值、向量分量的值只取0和1。 权向量：W=(w1，w2，…，wn) 输入向量：X=(x1，x2，…，xn) 训练样本集： {(X，Y)|Y为输入向量X对应的输出} * 3.2.1离散单输出感知器训练算法 * * 算法3-1离散单输出感知器训练算法 1. 初始化权向量W； 2. 重复下列过程，直到训练完成： 2.1 对每个样本（X，Y），重复如下过程： 2.1.1 输入X； 2.1.2 计算o=F（XW）； 2.1.3 如果输出不正确，则 当o=0时，取 W=W+X， 当o=1时，取 W=W-X 样本集：{(X,Y)|Y为输入向量X对应的输出} 输入向量：X=(x1,x2,…,xn) 理想输出向量：Y=(y1,y2,…,ym) 激活函数：F 权矩阵W=(wij) 实际输出向量：O=(o1,o2,…,om) * 3.2.2离散多输出感知器训练算法 o1 多输出感知器 x1 x2 o2 om xn … ?… … … 输入层 输出层 * 算法3-2离散多输出感知器训练算法 1.初始化权矩阵W； 2.重复下列过程，直到训练完成： 2.1 对每个样本（X，Y），重复如下过程： 2.1.1 输入X； 2.1.2 计算O=F（XW）； 2.1.3 for j=1 to m do 执行如下操作： if oj ≠ yj then if oj = 0 then for i = 1 to n wij=wij+xi else for i= 1 to n do wij=wij-xi 算法思想：将单输出感知器的处理逐个地用于多输出感知器输出层的每一个神经元的处理。 第1步，权矩阵的初始化：一系列小伪随机数。 * 算法3-2离散多输出感知器训练算法 第2步，循环控制。 方法1：循环次数控制法：对样本集执行规定次数的迭代 改进——分阶段迭代控制：设定一个基本的迭代次数N，每当训练完成N次迭代后，就给出一个中间结果 * 算法3-2离散多输出感知器训练算法 方法2：精度控制法：给定一个精度控制参数 精度度量：实际输出向量与理想输出向量的对应分量的差的绝对值之和； 实际输出向量与理想输出向量的欧氏距离的和 “死循环”：网络无法表示样本所代表的问题 * * 算法3-2离散多输出感知器训练算法 方法3：综合控制法：将这两种方法结合起来使用 注意：精度参数的设置。根据实际问题选定；初始测试阶段，精度要求低，测试完成后，再给出实际的精度要求。 * 算法3-2离散多输出感知器训练算法 用公式wij=wij+α（yj-oj）xi取代算法3-2 第2.1.3步中的多个判断 yj与oj之间的差别对wij的影响由α（yj-oj）xi表现出来 好处：不仅使得算法的控制在结构上更容易理解，而且还使得它的适应面更宽 * 3.2.3 连续多输出感知器训练算法 * 算法3-3 连续多输出感知器训练算法 1．用适当的小伪随机数初始化权矩阵W； 2. 初置精度控制参数ε，学习率α，精度控制变量d=ε+1； 3．While d ≥ ε do 3.1 d=0； 3.2 for 每个样本（X，Y）do 3.2.1 输入X（=(x1，x2，…，xn)）； 3.2.2 求O=F（XW）； 3.2.3 修改权矩阵W： for i=1 to n，j=1 to m do wij=wij+α(yj-oj)xi； 3.2.4 累积误差 for j = 1 to m do d=d+(yj-oj)2 1、Minsky在1969年证明，有许多基本问题是感知器无法解决 2、很难从样本数据集直接看出问题是否线性可分 6、未能证明，一个感知器究竟需要经过多少步才能完成训练。 * 3.3.1 异或(Exclusive –OR)问题 * 3.3 线性不可分问题 g（x，y） y 0 1 x 0 0 1 1 1 0 * 用于求解XOR的单神经元感知器 x y o 单神经元感知器的图像 ax+by=θ 1 y x 1 (0,0) (1,1) * 线性不可分函数 变量 函数及其值 x y f1 f2 f3 f4 f5 f6 f7 f8 f9 f10 f11 f12 f13 f14 f15 f16 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 0 1 0 0 0 0 1 1 1 1 0 0 0 0 1 1 1 1 1 0 0 0 1 1 0 0 1 1 0 0 1 1 0 0 1 1 1 1 0 1 0 1 0 1 0 1 0 1