计算智能与深度学习 课件 2神经网络－7自组织自组织竞争人工神经网络.ppt

史忠植高级人工智能CH8.自组织竞争人工神经网络在实际的神经网络中，比如人的视网膜中，存在着一种“侧抑制”现象，即一个神经细胞兴奋后，通过它的分支会对周围其他神经细胞产生抑制。自组织竞争人工神经网络正是基于上述生物结构和现象形成的。它能够对输入模式进行自组织训练和判断，并将其最终分为不同的类型。与BP网络相比，这种自组织自适应的学习能力进一步拓宽了人工神经网络在模式识别、分类方面的应用。另一方面，竞争学习网络的核心——竞争层，又是许多种其他神经网络模型的重要组成部分。8．1几种联想学习规则格劳斯贝格(S．Grossberg)提出了两种类型的神经元模型：内星与外星，用来解释人类及动物的学习现象。内星可以被训练来识别矢量；外星可以被训练来产生矢量。8．1．1内星学习规则实现内星输入／输出转换的激活函数是硬限函数。可以通过内星及其学习规则来训练某一神经元节点只响应特定的输入矢量P，它是借助于调节网络权矢量W近似于输入矢量P来实现的。现在来考虑当不同的输入矢量p1和p2分别出现在同一内星时的情况。首先，为了训练需要，必须将每一输入矢量都进行单位归一化处理。当第一个矢量p1输入给内星后，网络经过训练，最终达到W＝p1。此后，给内星输入另一个输入矢量p2，此时内星的加权输入和为新矢量p2与已学习过矢量p1的点积，即：根据不同的情况，内星的加权输入和可分为如下几种情况：1)p2等于p1，即有θ12＝0，此时，内星加权输入和为1；2)p2不等于p1，内星加权输入和为0时垂直，否则,属于（-1，1）；3)当p2＝-p1，即θ12＝180°时，内星加权输入和达到最小值-1。由此可见，对于一个已训练过的内星网络，当输入端再次出现该学习过的输入矢量时，内星产生1的加权输入和；而与学习过的矢量不相同的输入出现时，所产生的加权输入和总是小于1。当多个相似输入矢量输入内星，最终的训练结果是使网络的权矢量趋向于相似输入矢量的平均值。内星网络中的相似度由偏差b来控制，由设计者在训练前选定，典型的相似度值为b＝-0.95这意味着输入矢量与权矢量之间的夹角小于18°48’。若选b＝-0.9时，则其夹角扩大为25°48’。[例8.1]设计内星网络进行以下矢量的分类辨识：8．1．2外星学习规则外星网络的激活函数是线性函数，它被用来学习回忆一个矢量，其网络输入P也可以是另一个神经元模型的输出。外星被训练来在一层s个线性神经元的输出端产生一个特别的矢量A。对于一个外星，其学习规则为：当有r个外星相并联，每个外星与s个线性神经元相连组成一层外星时，其权值修正方式为：[例8．2]下面有1元素的输入矢量以及与它们相关的四元素目标矢量，试设计一个外星网络实现有效的矢量的获得，外星没有偏置。P＝[10]；T＝[0.1826 0.6325；0.3651 0.3162；0.5477 0.3162；0.7303 0.6325]；8．1．3科荷伦学习规则科荷伦(Kohonen)学习规则是由内星规则发展而来的。科荷伦规则为：8．2自组织竞争网络(SOM)

--基本的自组织竞争网络8．2．1网络结构竞争网络由单层神经元网络组成，其输入节点与输出节点之间为全互联结。因为网络在学习中的竞争特性也表现在输出层上，所以在竞争网络中把输出层又称为竞争层，而与输入节点相连的权值及其输入合称为输入层。自组织竞争网络的权值有两类：①输入节点j到i的权值wij(i＝1,2,…,s；j＝1,2,…,r).这些权值是通过训练可以被调整的；②竞争层中互相抑制的权值w’ik(i,k＝1,2,…,s).这类权值是固定不变的，且它满足分布关系:i)它们是一种对称权值，即w’ik＝w’kiii)相同神经元之间的权值起加强的作用，即w’11＝w’22＝…＝w’kk＞0.iii)不同神经元之间的权值相互抑制，即对于k≠i有:w’ik＜0.设网络的输入矢量为：P＝[p1p2…pr]T；对应网络的输出矢量为：A＝[a1a2…as]T。由于竞争网络中含有两种权值，所以其激活函数的加权输入和也分为两部分：①来自输入节点的加权输入和N②来自竞争层内