课件：人工神经网络03感知机网络.ppt

构造学习规则 已有规则 构造学习规则 该感知机最终可以对上述三个输入向量进行正确的分类。 构造学习规则 三个模式现在都正确分类了 第三条规则：如果感知机能够正确工作，则不用改变权值向量： 下面是涵盖了实际输出值和目标输出值所有可能组合的三条规则： 统一的学习规则 可以将上述三条规则统一成一个表达式 将上式中的p用偏置值的输入1替换，得到感知机的偏置值学习规则： 多神经元感知机 给出的感知机规则，修改单神经元感知机的权值向量。我们能把这个规则按照如下方法推广到多神经元感知机。权值矩阵的第i行用下式进行修改： 多神经元感知机 矩阵表示： 收敛性证明 证明是建立在下面三条假设基础上的： (1)问题的解存在； (2)仅在输入被错分时才改变权值； (3)输入向量的长度(模)的上界存在。 证明的思路： 若问题的解存在，则感知机学习规则必迭代有限次 就可收敛。 感知机的局限性 解决不了线性不可分问题 线性判定边界 感知机的局限性 异或(XOR) 逻辑运算为例 解决不了线性不可分问题 * 后面内容直接删除就行 资料可以编辑修改使用 资料可以编辑修改使用 主要经营：网络软件设计、图文设计制作、发布广告等 公司秉着以优质的服务对待每一位客户，做到让客户满意！ 致力于数据挖掘，合同简历、论文写作、PPT设计、计划书、策划案、学习课件、各类模板等方方面面，打造全网一站式需求 * * * * * * 武汉科技大学 * 人工神经网络(Artifical Neural Network) 张　凯 副教授 武汉科技大学 计算机学院 * 第三章 感知机网络 1. 研究背景 2. 学习规则 3. 感知机结构 4. 感知机学习规则 学习规则 学习规则 所谓学习规则就是修改神经网络的权值和偏置值的方法和过程（也称这种过程是训练算法）。学习规则的目的是为了训练网络来完成某些工作。 大致可以将其分为三大类： 学习规则 有监督学习（有导师学习） 提供一组能代表网络行为的实例集合(训练集)。 增强学习（半监督学习） 仅提供一个级别(或评分)，作为网络在某些输入序列上的性能测度。 无监督学习（无导师学习） 学习仅根据网络的输入来学会将输入模式分类（聚类）。 (输入,目标输出) 感知机的结构 感知机的结构 首先考虑如下权值矩阵 第i个行向量定义为 权值矩阵W重写为 感知机的结构 传输函数 由于hardlim传输函数的定义是 传输函数 所以，如果权值矩阵的第i个行向量与输入向量的内积大于等于-bi，该输出为1，否则输出为0。因此网络中的每个神经元将输入空间划分为两个区域。 单个神经元感知机 该网络的输出由下式所决定 单个神经元感知机 判定边界由那些使得净输入n为零的输入向量确定 为了使该实例更加具体，现将权值和偏置值设置为 那么判定边界是 定义了一条直线。为了画这条直线，必须找到该直线穿过轴p1和p2的点。 单个神经元感知机工作原理 为了确定边界的哪一边对应的输出为1，我们只需检测输入空间的一个点。对于输入p=[2 0]T，网络的输出为 所以，对于判定边界右上方的区域网络输出为1。在图中用阴影表示该区域。另外，也可用图解的方法找到该网络相应的判定边界。必须注意的是该边界与1w垂直 判定边界 ? 所有在判定边界上的点与权向量的内积相同。 ? 这些点一定是在一条与权向量垂直的线上。 例子 – “与(AND)” 下面将运用上述一些概念设计出能够实现“与门”逻辑功能的感知机网络。与门的输入/目标对为 该图依据输入向量的目标显示输入空间。目标值为1的输入向量用黑色圆圈 表示，而目标值为0的输入向量用空心圆圈 表示。 ● ○ 例子 – “与(AND)” “与”的解答（图解法） ?设计的第一步是选择一个判定边界。选择一个判定边界，把两类模式向量分割在两个区。能够实现这种划分的边界有无穷多个。合理的选择是判定边界易于确定，且处于这两类模式向量的间隔正中。 “与”的解答（图解法） ? 选择与判定边界垂直的权向量，该权向量可以是任意长度向量，它同样有无穷多个。这里选择： “与”的解答（图解法） ?最后，为了求解偏置值b，可以从判定边界上选取一个满足式子的点。 如果选p=[1.5 0]T代入，有： “与”的解答（图解法） 现在可以通过选择上述的输入/目标对来对网络进行测试。如果选择p2作为网络的输入，则输出为 感知机学习规则 为满足给定的训练样本： 设计一般性的方法来确定感知机的权和偏置值。 其中pq是网络的输入，tq是该输出相应的目标输出。 在该测试问题中，输入/目标对为 学习规则测试实例 此问题可以用下图说明，图中目标输出为0的两个输入向量用空心圆圈○表示，目标输出为1的输入向量用黑色圆圈●表示。 测试问题的网络 为了简