用分段线性划分研究前馈神经网络.pdfVIP

血cPiecewiSeL妇缎鼬i吼(PLD) wu Min，xu N吨W啦J岖1I砌Y哪GIlI咖 【】日i岫of＆i∞∞＆№010∥of嘶IIe赋230027 Thc鲥如t妇of缸血t垴妇l掣薯iI of饼岫簋n”∞郾ml咄岫面∞啊睡l蛔击i五∞口uH mlc 蛳衄dthc丘r啦hi‰l啊i|矗ee胁曲劬瞄啪of湘l岬．mof船妇I岬i摹协呻雠 gi％lo娜n砌 ck触删m她吣m删to唧虹血PLDmdbod棚蜘m thecon日吲血蛐I|1NNⅡknm正 X蝌-ordI．N酬碟蚋啊t，pi∞哪峨曲堵村di订衄姗nl批扣髓出确m眦cI埘栅ch璐砸嘲咖 用分段线性划分研究前馈神经网络 昊氓徐宁王*儒橱光正 (中国科学拄术大学自动化系合肥230027) ■要‘奉文对常用的甘馈_神拄同蓐的工作机理用模式识尉的分段线性划分作出鼻释．使曾靖神炷一咎迁明他． 抽出倪良的神经一络第一瞻詹应能提供一组分割空阍的超平面，而以后各詹的作用是氲虹满足问是羹求的手童同 ．第一赡晨的参敷可以不依麓于其它臆晨独立确定．用本文建议的方洼除了可以较快地得到连接各神经无节点的 权值外。还可以根据问恿的复杂程度璃定首馈神经一謦的蛄构． 关■字。神经阿鳝分段线性划分嘲络结构模式讽制 一．引言 馈神经网络作出解释，以加深对神经两络的了解． 近十余年来神经冈络的研究在理论和应用上都 提出用分段线性划分来解释神经冈络。强调了第一 有很大的进展【l一6】．在模式识别领域中也取得不少 隐层的决定性作用，指出第一隐层的确定可阻独立 成果【2—5]．然而网络结构要预先给定之后再通过样 进行面不受其它层的影响．从而加速学习过程，并 本训练来得到各神经元之问的连接扳值。在常用的 且使各层的作用透明化．有助于神经喇络的计算和 BP算法中，一个神经网络常看成是一个“黑箱”。 优化。 仅根据总的输入和输出数据来训练它的网络参数。 并根据经验给出隐层数和相应的节点致。由于缺乏 二．神经网终与分段线性划分 透明度，很难找到适合任务的合理的网络结构。从 1． 用分段线性划分来逼近超曲面 而．训练得到的网络参数也不能保证是最优的。 输入F(J)2童w。j．+w。 神经网络本身是从单层感知模型(Perceptron) ‘一I 发展起来的。单层感知模型是～个线性分类器。当 将这个感知模型由单层扩展为多层前馈网络时，它 就具有解决线性不可分样本集的能力。这个能力是 如何获得的，它的实质是什么，是一个重要的问题 。对它的了解可以增加应用时的主动性。 在大多数神经网络的应用中，前馈网络的应用 占有重要地位。在应用神经网络于模式识别时，相 当多的研究工作限制在已经用其它方法抽取到模式 圈l 单个神经元 特征后如何用神经网络作模式分类器的问题。本文 就神经网终应用于模式分类器的问题提出我们的看 对于图1所示感知模型是一个基本的神经元． 法．利用模式识别中已有的分段线性判别函敦对前 设给定的分好类的n维模式样本集是线性可分的， 则算法一定收敛．得到的分界是一个超平面，由于 ·国家自然科学基金资助项目6驰7500l 这是一个线性分割，它的应用是有限的．为了解决 m加∞J螂试伽临J00