《人工神经网络：模型、算法及应用》 课件-第4、5章-正则化理论、 极速学习机模型.pptx

人工神经网络： 模型、算法及应用本课程的主要内容第1章 绪论 第2章 感知机第3章 多层前馈神经网络 第4章 正则化理论 第5章 极限学习机模型及应用 第6章 形态神经网络 第7章 自组织映射 第8章 卷积神经网络模型及应用 第9章 生成对抗网络模型第10章 长短时记忆网络第11章 模糊神经网络参考书目何春梅，人工神经网络：模型、算法及应用，电子工业出版社。第4章 正则化理论4.1 引言4.2良态问题的Hadamard条件4.3正则化理论4.4正则化网络4.5广义RBF神经网络4.6正则化最小二乘估计4.1 引言 正则化理论：正则化理论（Regularization Theory）是Tikhonov于1963年提出的一种用于解决逆问题的不适定性的方法。不适定性通常由一组线性代数方程定义，这组方程具有很大的系数，使得它的反问题（已知系统输出求输入）存在多解。 正则化项本质上是一种先验信息，整个最优化问题从贝叶斯观点来看是一种贝叶斯最大后验估计，其中正则化项对应后验估计中的先验信息，不同的正则化项具有不同的先验分布，损失函数对应后验估计中的似然函数，二者的乘积则对应贝叶斯最大后验估计的形式。为了让模型参数尽可能小，正则化项一般是模型复杂度的单调递增函数，模型越复杂，正则化项就越大。 监督学习的共同点：通过样本训练一个网络，对于给定的输入模式给出输出模式，等价于构建一个超平面（多