前馈神经网络介绍04.docVIP

4.15 网络修剪技术 问题是在保持良好性能的同时使网络的规模最小化。具有最小规模的神经网络具有更小的可能性去学习训练数据的伪特征或者噪音，这样可能对新的数据有更好的泛化。用如下两个途径中的一个来达到这个设计目标： 网络生长法，以一个小的多层感知器开始，小到能实现当前任务即可，否则增加一个新的隐含神经元或者一个新的隐含层。 网络修剪法，以一个很大的能解决当前问题的多层感知器开始，然后通过有选择性的和有规律的方式削弱或者消除某些突触权重来进行修剪。 讨论两种逼近，一种基于“正规化”的形式，另一种基于从网络中“删除”某些连接的形式。 复杂度正规化 设计一个多层感知器，实际上是对输入输出样本的物理现象建立一个非线性模型。由于网络的设计在本质上还是统计学的问题，需要在训练数据的可靠性和模型的适应度之间寻找一个适当的折中（亦即是，解决偏置方差两难选择的方法）。在这个问题上的监督学习过程，通过最小化表述如下的总体风险都可能实现这个折中： （4.94） 在第一项中，是标准的性能度量准则，它同时依赖于网络（模型）和输入数据。在反向传播学习中，它定义为均方误差，该误差估计扩展到网络地输出神经元并且它针对所有训练样本； 第二项中的是复杂度的惩罚因子，它单独依赖于网络（模型）； 为正规化参数，它代表着复杂度惩罚因子项关于性能度量项的相对重要性。 当=0，反向传播学习过程是非约束的；