第3章 统计建模与参数估计_第8节-MLE 拓展：正则化与贝叶斯观点.pdfVIP

⼋、MLE拓展：正则化与⻉叶斯观点

8.1极⼤后验估计（MAP）：MLE的⻉叶斯修正学

8.1.1背景与动机：MLE的缺陷与MAP的提出数

修

8.1.2数学定义与公式推导必

习

8.1.3推导案例：正态分布均值的MAP估计学

器

机

8.1.4Python实现与对⽐：MLEvsMAP

-

壮

8.1.5MAP与MLE的对⽐总结

大

s

o

c

8.1.6MAP视⻆下的正则化（连接深度学习）

8.2MLEvsMAPvs⻉叶斯推断

8.2.1三种估计⽅式的思想对⽐

8.2.2数学形式详解与推导

8.2.3案例推导：伯努利分布参数的三种估计

8.2.4Python实现：MLEvsMAPvs⻉叶斯均值

8.2.5⼩结：三者关系

8.3中位数最⼩绝对偏差证明（鲁棒性）

8.3.1问题设定

8.3.2数学证明

8.3.3为什么中位数⽐均值更鲁棒？

8.3.4Python实现：中位数最⼩化绝对偏差学

8.3.5⼩结数

8.4偏差-⽅差权衡图解：估计的两难选择修

必

8.4.1问题背景：模型误差的组成习

学

8.4.2为什么偏差和⽅差⽆法兼得？器

机

-

8.4.3示例：函数拟合中的偏差-⽅差

壮

大

s

8.4.4Python实现：图示偏差-⽅差分解

o

c

8.4.5与正则化和⻉叶斯的联系

8.4.6⼩结：偏差-⽅差权衡的意义

8.5模型选择中的AIC/BIC简介

8.5.1为什么需要AIC/BIC？

8.5.2最⼤似然与过拟合问题

8.5.3AIC：⾚池信息量准则

8.5.4BIC：⻉叶斯信息准则

8.5.5示例推理：正