前向神经网络的设计原则.pdfVIP

前向神经网络的设计原则 张盼 张钹 安徽大学 清华大学 合肥．230039 北京．100084 智能技术与系统国家重点实验室 摘 要 本文给出 d-P神经元模型的几何意义，这个几何的铨释．给神 ● 经元一个非常直观的理解，利用这个直观的理解，我们给出一个前向 神经网络的设计原则最后依此原则给出二个设计的模拟例子-以证 明方法的有效性 关键词：前向神经网络，领域复盖，网络设计 ■ 一人工神经元的几何意义 的强度，而且有兴奋和抑制两种情况，第一次提出了神经元的数学模型【1】，此模型一直沿用至 今，其模型如下： ¨P神经元的模型 将神经元看成是一个有n个输入和一个输出的元件，此元件的功能函数可表示如下 Y 口 W*x一引．其中口是符号函数．即口 x ：1：≥5 现在让我们来分析一下这个模型的几何意义 1超平面表示 由神经元的功能函数的定义．可知．它是由两个函数复合而成，其第一个函数为帕x一0． 落在超平面的正半空间内，此时d w·x一引 1j当 W．x一引 印t．表点z落在P的负半空间内． 此时d W·x一日 一1．于是一个M—P神经元的功能。可看成是一个由超平面划分的空间的位置的 识别器这给神经元一个相当直观的理解．人们也曾利用这个直观的理解． 来进行神经网络的 J 学习的研究 见[2】．[3当两三个平面时，尚可直观理解，而当n、m较大时，n维空间中m个超 平面的相交情况非常复杂，很不直观总之．我们很难用超平面的模型，帮助我们直观地理解神 经网络的内在性质故此后．很少有人再用神经元的几何意义 指用超平面的表示 来帮助进行 神经网络的学习研究了 2．球面上4领域”表示 几何的直观往往是研究的很好的响导，上面用超平面的方法，虽遭到失败．但是只要我们对 此稍加改变．将会给我们提供新的直观帮助 若我们限定输入向量的长度相等，即输入向量是限定在n维空间的某个球面上．那么这时． w《一日 O．就表示球面上落在P的正半空间的部分，这个部分恰好是球面上的某个”球形领域4 ● 若驭w与x等长，则这个”球形领域”的中心恰好是w，其半径为：r 引是0的单调下降的函数 1 出T n 7 wtx一引， 见图一 若我们驭d’ x ：。三j。～且取神经元的激励函数为：d u一是1U 则一个神经元的功能函数．正好是它所代表的球面上”球形领域”的特征函数 这样我们就能非 常直观地进行神经阿络的各种研究 本课题获得国家自然科学基金、国家“863“基金资助 』2～ 图一 二神经网络的几何意义的应用 ● 1 多层前馈网络 作为联想记忆器或分类器 的设计 多层神经阿络的设计问题，是人工神经网络理论中的一个重要的问题．可是到目前为止． j蕾未有一个切实可行的设计原则 目前一般人们总是先按经验给出一个网络的拓扑结构， 然后 用某个给定的学习算法进行学习．若学习的结果比较满意，就算成功．若所得的结果不满意， ● 则修改原先的网络拓扑结构．重新进行学习 下面我们依据上面给出的神经元的几何意义， 可以给出一个比较合理的前向神经网络的设 计方法 设样本集K为：K； r‘ x‘，Y‘ ．t 0，1．2，．B ，那么，所谓”记忆”．就是当输入为x‘ 时网络的输出为Y1．记住x1与Y1之间的对应关系；至于4联想”．就是当输入为x1+A1时．其输 1是噪声，或擞扰 出仍为Y1 其中A 有上面两种功能的网络，就可以认为是一个4联想记忆器t 另一方面，若将4当输入为X1+A1时，其输出仍为Y“理解为：输入落在x1的附近时．其输 出应为Yi，否则其输出就不为Y1．若将在。x‘附近”看做是xi的一个球形领域，那么．由神经元 的几何意义，知：若取以X1为中心，以A‘为半径的”球形领域■则其对应的神经元，就能完成 上述的联想记忆的任务 若将多层前向神经阿络做为”分类器”来进行设计，那么其设计就相当于用若干”球形领域” 将输入x1按其所属的类，把它们划分开来，一个最简单的方法．就是对每一类． 用一组球形领 域将属于该类的x1复盖住．又不复盖不属于该类的X1于是不同类的输入被不同组的球形领域 所复盖，然后再将属于同组球领域对应的神经元的输出用或门集中起来． 这样就给出一个分类 器的设计 按这样的理解．我们可给出这个设计方法的粗糙的框架．暂称之为领域复盖算法 即先用 一些领域将样本中不同输出的样本分隔开来，然后再再变换成所需的输出 A领域复盖算法 最简单的情况 设样本集K为：K r‘ x气Y‘ ．t 0，1．2，．p_1 ．K中不同的Y‘只有k个．不妨设Y‘的 顺序排序 于是，若我们能够取一批”球形领域” Cj，t 0，1．，k一1；j，1．2…，k。 令C‘ Uc；，使得：C‘只复益j属于I t 的X3，而不复盖j不属于I t 的x。．且C‘互不相交． 这样