神经网络结构优化方法－剪枝法分析与研究.pdfVIP

旦竺竺塑坚垡竺塑兰坠型坐翌坚堂坚里墼坐塑竺型竺!垒!!!!型i婴 !竺!兰兰=!!生!：兰翌螋：望堕i：曼墨：妄垒墼 oPTIMIZATIoNSTRATEGYOF STRUCTURE NEURAL NETWoRKs．——一RESEARCHoNPRUNlNG Xu Zh锄gMeng 1内ngMao ofAutomation，TsingIlua (Depar打rI曲t Univ∽吼BcUing100∞4) AbItnct t11e f如torswhichinnuencct11e a we锄alysismajor gencraIization p而ml锄∞ofⅡNcumINetwofb，makc metllodsand sevcralof to ons虮Ictllre p他辩nt kinds simula埒witllnleMIjN曲 survey Op吐mizalion pnmi“galg叶iI圭lms 咖lcinds Thc旭sult tIIat of呻icalp肿bl锄s su幅俨sb pmningaIgorimmc柚e娜：c￡ivcIy N吐wmb锄d thc训of ncw of曲c no油lyImpmVetIlc计g曲cralizalion，u tllc掣驴％鲫ncd刊dopm曲t p衄iIIg js副哪盯ized 出o^tllm wordl K．y pnming出o^也111，NcuralN蝴rb，MLFN，窖曲craIj盟ti∞，咖咖optimizali伽 神经网络结构优化方法——剪枝法分析和研究 张猛 徐用懋 (清华大学自动化系北京lo0084) 摘蔓奉文分析了影响神经网络推广能力的主要因素．蔺速了各种网络结构优化算法．对几种典型的剪枝法作了 简要吩介绍并蛄合多晨前向网《札F町对两类问是进行了研究，研究蛄果表明剪枝洼在优化网络蛄构的同时提高了 神烃啊络的推广能力，是一种有效的神经两络结构优化工具．吏章曩后简要介帮了剪枝法近年来的炭展情况和方 向． 美键词剪枝法神经网络多层前向周推广能力蛄构优化 1．引言 三部分，训练集用于网络权值的修正，而验证集用 对于具体的神经网络系统，人们最关心的不是 于推广能力的评估，测试集则用于不同网络拓扑结 它的训练收敛问题．而是它在训练集外的推广应用 构的比较。当训练过程中测试集的误差不降反升时 问题。没有推广能力的神经网络系统是没有实用价 值的。一般说来神经网络的推广能力取决于训练样 不要求训练的收敛【”j，但前提是样本数目较为充足。 本的质量和网络结构ll俩个因素。 另外一种解决办法是设法降低网络对误差数据的敏 从第一个因素考虑，如果采集的样本不能均匀 感程度．一般认为过适应是由于网络结构的自由度 分布在求解域中．那么