神经网络课件-第4章-正则化理论.pptxVIP

1;正则化理论：正则化理论（RegularizationTheory）是Tikhonov于1963年提出的一种用于解决逆问题的不适定性的方法。不适定性通常由一组线性代数方程定义，这组方程具有很大的系数，使得它的反问题（已知系统输出求输入）存在多解。

正则化项本质上是一种先验信息，整个最优化问题从贝叶斯观点来看是一种贝叶斯最大后验估计，其中正则化项对应后验估计中的先验信息，不同的正则化项具有不同的先验分布，损失函数对应后验估计中的似然函数，二者的乘积则对应贝叶斯最大后验估计的形式。为了让模型参数尽可能小，正则化项一般是模型复杂度的单调递增函数，模型越复杂，正则化项就越大