正则化计算机网络.pdfVIP

下载本文档

5
0
约3.52万字
约 9页
2017-12-16 发布于未知
举报
版权申诉

正则化计算机网络.pdf

1、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击这里二次下载。
3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
4、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
5、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
6、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
7、VIP文档为合作方或网友上传，每下载1次，网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档

第八章正则化网络 8.0 引言 8.0 引言模式识别中的“学习” 的过程通常是ill- 8.1 正则化理论(Regularization Theory) posed 问题： 8.2 Reproducing Kernel Hilbert Space 一般没有唯一解； (RKHS) 8.3 正则化网络(Regularization 复杂程度高的解很多时候是不稳定的 (overfitting) 。 Networks) 、SVM和SRM 8.0 引言解决的办法： 8.1 正则化理论简介 Ockham’s razor （定性）; 正则化方法（定量）：对函数集的复杂度加惩罚（与SVM的思想类似）。人工神经网络的学习就是ill-posed 问题：正则化网络能够在一定程度上克服overfitting 问题。 8.1 正则化理论简介 8.1 正则化理论简介 −1 上述问题可表示为，求：问题的提出： A 赋范空间解方程： A(A−1y ) y Ax y , x ∈X . y ∈Y. 算子 A : X →Y. 一般的有逆问题求f：和是空间解的稳定性： Af y f ∈F , y ∈Y,F Y Hibert y 的小扰动，是否对应x 的小扰动？算子 A :F →Y A(x +∆x) y +∆y . 小？小 8.1 正则化理论简介 8.1 正则化理论简介逆问题Well-posed与ill-posed ：正则化理论(Tikhonov 1943,1963) ： Hadamard关于well-posed 问题的定义：有一大类问题，在Hadamard意义下是ill- 存在性：对每个y ∈Y 方程都有解f 。 posed 问题，但可以找出一个稳定的近似唯一性：保证对每个y ∈Y 方程都有唯一解f 。解。稳定性：A−1 是连续映射，保证了解的稳定 Tikhonov 的思想：性。y 的小扰动，对应f的小扰动。 X f