软计算-6.pptVIP

四、竞争型神经网络 1、竞争型神经网络的基本思想 BP算法，对于输入信号，需要相应的教师信号，是有教师示教的学习 但有许多时候教师信号并不清楚，如给出许多数据，用某种方法加以分类，这时，BP算法不好使 竞争型神经网络是以无教师示教方式进行网络训练的网络 无教师学习的一大特征：将输入数据中隐含的特征抽取出来，自动进行学习 网络通过自身训练，自动对输入模式进行分类 在结构上，既不同于阶层型，各层神经元间非单向连接；也不同于全连接型，有层次界限 一般是由输入层和竞争层构成的两层网络。两层之间各神经元实现双向全连接，没有隐含层，有时竞争层各神经元之间还存在横向连接 在学习方法上，不是以网络的误差或能量函数的单调递减作为算法准则 而是依靠神经元之间的兴奋、协调、抑制、竞争的作用来进行信息处理，指导网络的学习与工作 基本思想： 网络竞争层各神经元竞争对输入模式的响应机会，最后仅一个神经元成为竞争的胜者，并将与获胜神经元有关的各连接权朝着更有利于它竞争的方向调整 这一获胜的神经元则表示对输入模式的分类 竞争型神经网络经常作为基本的网络形式，构成其它一些具有自组织能力的网络，如自适应共振理论网络（ART）、自组织映射网络（SOM）等 2、网络基本结构 一种比较简单的网络结构和学习算法： 结构：由输入层和竞争层构成 输入层有N个神经元；竞争层有M个神经元。 网络的连接权为{wij}, i = 1, 2,…, N, j = 1, 2,…, M 约束条件为：∑i=1,Nwij = 1 网络的P个二值（0、1）输入学习模式为： Ak = (a1k, a2k,…, aNk) 与其对应的竞争层输出模式为： Bk = (b1k, b2k,…,bMk ), k = 1,…, P 3、学习规则： Step1：初始化，按约束条件∑i=1,Nwij = 1，赋予wij [0，1]内的随机值 Step2：任选P个模式中的一个模式Ak提供给网络的输入层 Step3：计算竞争层各神经元的输入值sj： sj = ∑i=1,N wij aik i=1,…, M Step4：按“胜者为王”的原则 以sj (j =1,2,…, M) 中最大值所对应的神经元作为胜者，将其输出状态置为1，而其它所有神经元的输出状态置为0，即： bj = 1 sj si (i=1,2,…,M, i≠j) bi = 0 i≠j 若出现sj = si的现象，则按统一约定取左边的神经元为获胜神经元 Step5：修正与获胜神经元相连的各连接权，而其它所有连接权保持不变 wij =wij + Δwij Δwij = η ( aik / m – wij ) i =1,2,…,N, 0η1 η为学习系数，一般为0.01~0.03 m为第k个学习模式向量Ak = (a1k, a2k,…, aNk) 中元素为1的个数（归一化需要） Step6：选取另一个学习模式，回到3），直到P个学习模式全部提供给网络 Step7：返回2），直到各连接权的调整量变得很小为止 在网络回想时，就可以根据所记忆的学习模式，按4）对输入模式作出最邻近分类，即以竞争层获胜神经元表示分类结果 当ai为1时，由于wij《1（∑i=1,Nwij = 1），Δwij 为正，wij向增大方向变化 当ai为0时，Δwij 为负，wij向减小的方向变化；所有连接权始终在（0，1）之间变化 图 当同一个学习模式反复提供给网络学习后，则这一模式前次所对应的竞争层获胜神经元的输入值sj 会逐渐增大，继续保持胜者的地位 当与这一模式非常近似的模式提供给网络时，也将促使同一神经元在竞争中获胜，即以竞争层获胜神经元表示分类结果 对于分类结果的注意 如果学习模式集合本身具有较明显的分类特征，则网络可对其进行正确的分类 如果学习模式集合本身错乱无章，没有一定的分类规律，网络对输入模式的响应呈现振荡现象，对应同一 输入模式，可能会激活不同的输出单元 网络的分类性能与网络连接权的初始值、学习系数、及学习模式提供的顺序有关 例：对三维模式组的分类 P1=（1，0，1） P2=（1，0，0） P3=（0，1，0） P4=（0，1，1） 要求分为两类 计算P1~P4之间的汉明距离为： P1 P2 P3 P4 P1 0 1 3 2 P2 1 0 2 3 P3 3 2 0 1 P4 2 3 1 0 可见，P1，P2和P3，P4之间的汉明距离为1 五、自组织特征映射NN 1、自组织特征映射NN的基本思想 人们通过大量的生理学实验发现，人的大脑皮层中存在着许多完成特定功能的网络区域 在完成某一特定功能的网络区域中，不同部位的若干神经元对含有不同特征的外界刺激同时产生响应 即人脑中的神经元并不是与记忆模式一一对应的，而是一组或一群对应一个模式