人工神经网络泛化问题的研究综述.docVIP

人工神经网络泛化问题的研究综述 　　 (南开大学 a.机器智能研究所; b.国家环境保护城市空气颗粒物污染防治重点实验室, 天津 300071) 　　?? 　　 摘 要：从理论、方法（思想）和技术三个层次回顾了以往工作，讨论了模型复杂度、样本复杂度及两者之间关系的相关研究；在实际中，通过控制模型复杂度、调整样本等具体技术可以在一定程度上提高神经网络的泛化能力，但这些技术仍然存在一些问题没有解决。最后提出了对今后研究的展望。 　　?? 关键词：人工神经网络; 泛化问题; 泛化能力 　　?? 中图分类号：TP183 文献标志码： A 　　 文章编号：1001?菠B3695(2008)12?菠B3525?菠B06 　　 ?? 　　Review on generalization problem of artificial neural network 　　WANG Kai????a,b??, YANG Ju??feng??a, WANG Li??a, SHI Guang??shun??a, WANG Qing??ren??a 　　(a.Institute of Machine Intelligence, b.Key Laboratory of Urban Ambient Air Particulate Matter Pollution Prevention Control,Nankai University, Tianjin 300071, China) 　　?? 　　 Abstract: 　　This paper reviewed previous works from such aspects as theory,method (idea) and technique,and discussed the model complexity,the sample complexity and their relationship. Pointed out that the generalization of neural network could be improved to a certain extent by controlling the model complexity or adjusting sample,but there were still some practical problems to be resolved. At the end of this paper, presented the prospect for further research. 　　?? Key words：artificial neural network(ANN); generalization problem; generalization ability 　　?お? 　　人工神经网络（ANN）是从功能、结构和运作方式三个方面模拟大脑而形成的系统。从功能上来看，ANN具备学习功能、记忆功能和实践功能。学习功能使ANN能够从周围环境中获取知识；记忆功能使ANN能够存储获取到的知识；实践功能使ANN能够利用现有知识指导机器处理实际问题。从结构上来看，ANN的基本构成单元是类似于生物神经元的简单处理单元（称做人工神经元，简称神经元），它是一个多输入、单输出的线性或非线性元件。ANN由大量神经元通过单向信号通道相互连接而成，利用神经元之间的连接强度（称做连接权重）以分布式方式存储知识，ANN的具体结构决定了ANN的学习能力和实践能力。 从运作方式上来看，ANN采用并行处理方式，可以进行快速计算。ANN以其独特的结构和处理信息的方法，在自动控制、处理组合优化问题、模式识别、图像处理、传感器信号处理、机器人控制、信号处理、卫生保健、医疗、经济、化工、焊接、地理、数据挖掘、电力系统、交通、军事、矿业、农业和气象等许多实际应用领域中展现出了卓越?┬阅塥?。 ?? 　　一般意义上的机器学习过程是一个从有限的输入―输出样本集??{(x??i,d??i)}恢复未知的输入―输出函数关系y=f(x)??的求逆过程。而现实中的问题由于往往不具有Hadamard意义下的存在性、单一性及连续性（或称稳定性）[1]，是一个不适定（或称病态，即ill??posed）问题，即从一组训练集中可以重建无数个解。在处理这种问题的时候往往遵循Ockham’s Razor原则（如无必要，勿增实体），选择能够满足一定正确性的最简单的解。?? 　　作为一种非参数模型，ANN的一切信息只来自于训练集，其训练的结果也就更加不稳定，极容易产生泛化问题，出现过拟合（过学习、过训练）的现象，降低泛化能力。因此就如何避免泛化问题，研究者们展开了大量